<!DOCTYPE html>
<html lang="zh-CN">

<head>
  <meta charset="UTF-8">
  <meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=2">
  <meta name="theme-color" content="#222">
  <meta name="generator" content="Hexo 4.2.1">
  <link rel="apple-touch-icon" sizes="180x180" href="/images/apple-touch-icon-next.png">
  <link rel="icon" type="image/png" sizes="32x32" href="/images/favicon-32x32-next.png">
  <link rel="icon" type="image/png" sizes="16x16" href="/images/favicon-16x16-next.png">
  <link rel="mask-icon" href="/images/safari-pinned-tab.svg" color="#222">
  <link rel="stylesheet" href="/css/main.css">
  <link rel="stylesheet" href="/lib/font-awesome/css/all.min.css">
  <link rel="stylesheet" href="/lib/pace/pace-theme-minimal.min.css">
  <script src="/lib/pace/pace.min.js"></script>
  <script id="hexo-configurations">
    var NexT = window.NexT ||
    {};
    var CONFIG = {
      "hostname": "cuiqingcai.com",
      "root": "/",
      "scheme": "Pisces",
      "version": "7.8.0",
      "exturl": false,
      "sidebar":
      {
        "position": "right",
        "width": 360,
        "display": "post",
        "padding": 18,
        "offset": 12,
        "onmobile": false,
        "widgets": [
          {
            "type": "image",
            "name": "阿布云",
            "enable": false,
            "url": "https://www.abuyun.com/http-proxy/introduce.html",
            "src": "https://qiniu.cuiqingcai.com/88au8.jpg",
            "width": "100%"
      },
          {
            "type": "image",
            "name": "天验",
            "enable": true,
            "url": "https://tutorial.lengyue.video/?coupon=12ef4b1a-a3db-11ea-bb37-0242ac130002_cqx_850",
            "src": "https://qiniu.cuiqingcai.com/bco2a.png",
            "width": "100%"
      },
          {
            "type": "image",
            "name": "华为云",
            "enable": false,
            "url": "https://activity.huaweicloud.com/2020_618_promotion/index.html?bpName=5f9f98a29e2c40b780c1793086f29fe2&bindType=1&salesID=wangyubei",
            "src": "https://qiniu.cuiqingcai.com/y42ik.jpg",
            "width": "100%"
      },
          {
            "type": "image",
            "name": "张小鸡",
            "enable": false,
            "url": "http://www.zxiaoji.com/",
            "src": "https://qiniu.cuiqingcai.com/fm72f.png",
            "width": "100%"
      },
          {
            "type": "image",
            "name": "Luminati",
            "src": "https://qiniu.cuiqingcai.com/ikkq9.jpg",
            "url": "https://luminati-china.io/?affiliate=ref_5fbbaaa9647883f5c6f77095",
            "width": "100%",
            "enable": false
      },
          {
            "type": "image",
            "name": "IPIDEA",
            "url": "http://www.ipidea.net/?utm-source=cqc&utm-keyword=?cqc",
            "src": "https://qiniu.cuiqingcai.com/0ywun.png",
            "width": "100%",
            "enable": true
      },
          {
            "type": "tags",
            "name": "标签云",
            "enable": true
      },
          {
            "type": "categories",
            "name": "分类",
            "enable": true
      },
          {
            "type": "friends",
            "name": "友情链接",
            "enable": true
      },
          {
            "type": "hot",
            "name": "猜你喜欢",
            "enable": true
      }]
      },
      "copycode":
      {
        "enable": true,
        "show_result": true,
        "style": "mac"
      },
      "back2top":
      {
        "enable": true,
        "sidebar": false,
        "scrollpercent": true
      },
      "bookmark":
      {
        "enable": false,
        "color": "#222",
        "save": "auto"
      },
      "fancybox": false,
      "mediumzoom": false,
      "lazyload": false,
      "pangu": true,
      "comments":
      {
        "style": "tabs",
        "active": "gitalk",
        "storage": true,
        "lazyload": false,
        "nav": null,
        "activeClass": "gitalk"
      },
      "algolia":
      {
        "hits":
        {
          "per_page": 10
        },
        "labels":
        {
          "input_placeholder": "Search for Posts",
          "hits_empty": "We didn't find any results for the search: ${query}",
          "hits_stats": "${hits} results found in ${time} ms"
        }
      },
      "localsearch":
      {
        "enable": true,
        "trigger": "auto",
        "top_n_per_article": 10,
        "unescape": false,
        "preload": false
      },
      "motion":
      {
        "enable": false,
        "async": false,
        "transition":
        {
          "post_block": "bounceDownIn",
          "post_header": "slideDownIn",
          "post_body": "slideDownIn",
          "coll_header": "slideLeftIn",
          "sidebar": "slideUpIn"
        }
      },
      "path": "search.xml"
    };

  </script>
  <meta name="description" content="崔庆才的个人站点，记录生活的瞬间，分享学习的心得。">
  <meta property="og:type" content="website">
  <meta property="og:title" content="静觅">
  <meta property="og:url" content="https://cuiqingcai.com/page/8/index.html">
  <meta property="og:site_name" content="静觅">
  <meta property="og:description" content="崔庆才的个人站点，记录生活的瞬间，分享学习的心得。">
  <meta property="og:locale" content="zh_CN">
  <meta property="article:author" content="崔庆才">
  <meta property="article:tag" content="崔庆才">
  <meta property="article:tag" content="静觅">
  <meta property="article:tag" content="PHP">
  <meta property="article:tag" content="Java">
  <meta property="article:tag" content="Python">
  <meta property="article:tag" content="Spider">
  <meta property="article:tag" content="爬虫">
  <meta property="article:tag" content="Web">
  <meta property="article:tag" content="Kubernetes">
  <meta property="article:tag" content="深度学习">
  <meta property="article:tag" content="机器学习">
  <meta property="article:tag" content="数据分析">
  <meta property="article:tag" content="网络">
  <meta property="article:tag" content="IT">
  <meta property="article:tag" content="技术">
  <meta property="article:tag" content="博客">
  <meta name="twitter:card" content="summary">
  <link rel="canonical" href="https://cuiqingcai.com/page/8/">
  <script id="page-configurations">
    // https://hexo.io/docs/variables.html
    CONFIG.page = {
      sidebar: "",
      isHome: true,
      isPost: false,
      lang: 'zh-CN'
    };

  </script>
  <title>静觅丨崔庆才的个人站点</title>
  <meta name="google-site-verification" content="p_bIcnvirkFzG2dYKuNDivKD8-STet5W7D-01woA2fc" />
  <noscript>
    <style>
      .use-motion .brand,
      .use-motion .menu-item,
      .sidebar-inner,
      .use-motion .post-block,
      .use-motion .pagination,
      .use-motion .comments,
      .use-motion .post-header,
      .use-motion .post-body,
      .use-motion .collection-header
      {
        opacity: initial;
      }

      .use-motion .site-title,
      .use-motion .site-subtitle
      {
        opacity: initial;
        top: initial;
      }

      .use-motion .logo-line-before i
      {
        left: initial;
      }

      .use-motion .logo-line-after i
      {
        right: initial;
      }

    </style>
  </noscript>
  <link rel="alternate" href="/atom.xml" title="静觅" type="application/atom+xml">
</head>

<body itemscope itemtype="http://schema.org/WebPage">
  <div class="container">
    <div class="headband"></div>
    <header class="header" itemscope itemtype="http://schema.org/WPHeader">
      <div class="header-inner">
        <div class="site-brand-container">
          <div class="site-nav-toggle">
            <div class="toggle" aria-label="切换导航栏">
              <span class="toggle-line toggle-line-first"></span>
              <span class="toggle-line toggle-line-middle"></span>
              <span class="toggle-line toggle-line-last"></span>
            </div>
          </div>
          <div class="site-meta">
            <a href="/" class="brand" rel="start">
              <span class="logo-line-before"><i></i></span>
              <h1 class="site-title">静觅 <span class="site-subtitle"> 崔庆才的个人站点 </span>
              </h1>
              <span class="logo-line-after"><i></i></span>
            </a>
          </div>
          <div class="site-nav-right">
            <div class="toggle popup-trigger">
              <i class="fa fa-search fa-fw fa-lg"></i>
            </div>
          </div>
        </div>
        <nav class="site-nav">
          <ul id="menu" class="main-menu menu">
            <li class="menu-item menu-item-home">
              <a href="/" rel="section">首页</a>
            </li>
            <li class="menu-item menu-item-archives">
              <a href="/archives/" rel="section">文章列表</a>
            </li>
            <li class="menu-item menu-item-tags">
              <a href="/tags/" rel="section">文章标签</a>
            </li>
            <li class="menu-item menu-item-categories">
              <a href="/categories/" rel="section">文章分类</a>
            </li>
            <li class="menu-item menu-item-about">
              <a href="/about/" rel="section">关于博主</a>
            </li>
            <li class="menu-item menu-item-message">
              <a href="/message/" rel="section">给我留言</a>
            </li>
            <li class="menu-item menu-item-search">
              <a role="button" class="popup-trigger">搜索 </a>
            </li>
          </ul>
        </nav>
        <div class="search-pop-overlay">
          <div class="popup search-popup">
            <div class="search-header">
              <span class="search-icon">
                <i class="fa fa-search"></i>
              </span>
              <div class="search-input-container">
                <input autocomplete="off" autocapitalize="off" placeholder="搜索..." spellcheck="false" type="search" class="search-input">
              </div>
              <span class="popup-btn-close">
                <i class="fa fa-times-circle"></i>
              </span>
            </div>
            <div id="search-result">
              <div id="no-result">
                <i class="fa fa-spinner fa-pulse fa-5x fa-fw"></i>
              </div>
            </div>
          </div>
        </div>
      </div>
    </header>
    <div class="back-to-top">
      <i class="fa fa-arrow-up"></i>
      <span>0%</span>
    </div>
    <div class="reading-progress-bar"></div>
    <main class="main">
      <div class="main-inner">
        <div class="content-wrap">
          <div class="content index posts-expand">
            <div class="carousel">
              <div id="wowslider-container">
                <div class="ws_images">
                  <ul>
                    <li><a target="_blank" href="https://cuiqingcai.com/5052.html"><img title="Python3网络爬虫开发实战教程" src="https://qiniu.cuiqingcai.com/ipy96.jpg" /></a></li>
                    <li><a target="_blank" href="https://t.lagou.com/fRCBRsRCSN6FA"><img title="52讲轻松搞定网络爬虫" src="https://qiniu.cuiqingcai.com/fqq5e.png" /></a></li>
                    <li><a target="_blank" href="https://brightdata.grsm.io/cuiqingcai"><img title="亮网络解锁器" src="https://qiniu.cuiqingcai.com/6qnb7.png" /></a></li>
                    <li><a target="_blank" href="https://cuiqingcai.com/4320.html"><img title="Python3网络爬虫开发视频教程" src="https://qiniu.cuiqingcai.com/bjrny.jpg" /></a></li>
                    <li><a target="_blank" href="https://cuiqingcai.com/5094.html"><img title="爬虫代理哪家强？十大付费代理详细对比评测出炉！" src="https://qiniu.cuiqingcai.com/nifs6.jpg" /></a></li>
                  </ul>
                </div>
                <div class="ws_thumbs">
                  <div>
                    <a target="_blank" href="#"><img src="https://qiniu.cuiqingcai.com/ipy96.jpg" /></a>
                    <a target="_blank" href="#"><img src="https://qiniu.cuiqingcai.com/fqq5e.png" /></a>
                    <a target="_blank" href="#"><img src="https://qiniu.cuiqingcai.com/6qnb7.png" /></a>
                    <a target="_blank" href="#"><img src="https://qiniu.cuiqingcai.com/bjrny.jpg" /></a>
                    <a target="_blank" href="#"><img src="https://qiniu.cuiqingcai.com/nifs6.jpg" /></a>
                  </div>
                </div>
                <div class="ws_shadow"></div>
              </div>
            </div>
            <link rel="stylesheet" href="/lib/wowslide/slide.css">
            <script src="/lib/wowslide/jquery.min.js"></script>
            <script src="/lib/wowslide/slider.js"></script>
            <script>
              jQuery("#wowslider-container").wowSlider(
              {
                effect: "cube",
                prev: "",
                next: "",
                duration: 20 * 100,
                delay: 20 * 100,
                width: 716,
                height: 297,
                autoPlay: true,
                playPause: true,
                stopOnHover: false,
                loop: false,
                bullets: 0,
                caption: true,
                captionEffect: "slide",
                controls: true,
                onBeforeStep: 0,
                images: 0
              });

            </script>
            <article itemscope itemtype="http://schema.org/Article" class="post-block index" lang="zh-CN">
              <link itemprop="mainEntityOfPage" href="https://cuiqingcai.com/9456.html">
              <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
                <meta itemprop="image" content="/images/avatar.png">
                <meta itemprop="name" content="崔庆才">
                <meta itemprop="description" content="崔庆才的个人站点，记录生活的瞬间，分享学习的心得。">
              </span>
              <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
                <meta itemprop="name" content="静觅">
              </span>
              <header class="post-header">
                <h2 class="post-title" itemprop="name headline">
                  <a class="label"> Other <i class="label-arrow"></i>
                  </a>
                  <a href="/9456.html" class="post-title-link" itemprop="url">MySQL基本配置</a>
                </h2>
              </header>
              <div class="post-body" itemprop="articleBody">
                <div class="thumb">
                  <img itemprop="contentUrl" class="random">
                </div>
                <div class="excerpt">
                  <p>
                  <p>主要亮点为配置和密码找回，安装什么的就。。。</p>
                  <h1 id="MySQL基本配置"><a href="#MySQL基本配置" class="headerlink" title="MySQL基本配置"></a>MySQL基本配置</h1>
                  <p>官网地址：www.mysql.com 安装可参考：<a href="https://cuiqingcai.com/5200.html">https://cuiqingcai.com/5200.html</a> </p>
                  <h4 id="window："><a href="#window：" class="headerlink" title="window："></a>window：</h4>
                  <p>[gallery columns=”1” size=”full” ids=”9457”] 注意终端mysqld开启的不能关闭！ </p>
                  <figure class="highlight 1c">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">mysqld <span class="comment">//启动服务</span></span><br><span class="line">mysql <span class="comment">//启动客户端</span></span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>制作服务：</p>
                  <ol>
                    <li>关闭进程</li>
                  </ol>
                  <figure class="highlight jboss-cli">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="string">//</span> 查找任务进程</span><br><span class="line">tasklist |findstr mysqld</span><br><span class="line"><span class="string">//</span>终止任务进程</span><br><span class="line">taskkill <span class="string">/F</span> <span class="string">/PID</span> PID</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <ol>
                    <li>安装服务与移除服务</li>
                  </ol>
                  <figure class="highlight jboss-cli">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="string">//</span>安装服务</span><br><span class="line">mysqld <span class="params">--install</span></span><br><span class="line"><span class="string">//</span>移除服务</span><br><span class="line">mysqld <span class="params">--remove</span></span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <h4 id="Linux："><a href="#Linux：" class="headerlink" title="Linux："></a>Linux：</h4>
                  <figure class="highlight sql">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">centos:</span><br><span class="line">yum -y <span class="keyword">install</span> mariadb-<span class="keyword">server</span> mariadb</span><br><span class="line">ubuntu:</span><br><span class="line">yum -y <span class="keyword">install</span> mysqld-<span class="keyword">server</span> msyql-<span class="keyword">client</span></span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <blockquote>
                    <p>基本使用： // 查看所有的数据库 show databases； // 进入对应的库： use database（name） 查看表: select * from db;</p>
                  </blockquote>
                  <p>配置环境变量：</p>
                  <figure class="highlight vim">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="keyword">vim</span> /etc/<span class="keyword">profile</span></span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>在文档最后一行加入：</p>
                  <figure class="highlight bash">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">PATH = /。。。:<span class="variable">$PATH</span></span><br><span class="line"><span class="built_in">export</span> PATH</span><br><span class="line">保存退出即可</span><br><span class="line">然后在终端输入</span><br><span class="line"><span class="built_in">source</span> /etc/profile //生效</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <h2 id="管理员密码设置与找回："><a href="#管理员密码设置与找回：" class="headerlink" title="管理员密码设置与找回："></a>管理员密码设置与找回：</h2>
                  <blockquote>
                    <p>管理员账号登录(没有密码，直接回车进入。)</p>
                    <figure class="highlight ebnf">
                      <table>
                        <tr>
                          <td class="gutter">
                            <pre><span class="line">1</span><br></pre>
                          </td>
                          <td class="code">
                            <pre><span class="line"><span class="attribute">mysql -uroot -p</span></span><br></pre>
                          </td>
                        </tr>
                      </table>
                    </figure>
                    <p>设置管理员密码</p>
                    <figure class="highlight dts">
                      <table>
                        <tr>
                          <td class="gutter">
                            <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre>
                          </td>
                          <td class="code">
                            <pre><span class="line">mysqladmin -uroot -<span class="class">p </span>&#123;oldPassworld(原始密码，默认为“”,空)&#125; <span class="class">password </span>&#123;“newpassoworld”&#125;;</span><br><span class="line">mysqladmin -uroot -p  <span class="class">password </span>&#123;“passoworld”&#125;;</span><br><span class="line"><span class="meta"># passoworld为你锁需要设置的密码哦 </span></span><br></pre>
                          </td>
                        </tr>
                      </table>
                    </figure>
                  </blockquote>
                  <h4 id="MySQL密码找回："><a href="#MySQL密码找回：" class="headerlink" title="MySQL密码找回："></a>MySQL密码找回：</h4>
                  <p>密码验证思路：mysql必定将管理员账号密码存储在某个文件夹内，使用时与输入密码验证，成功则能够连接，否则连接失败。 密码找回思路： 跳过MySQL密码的验证直接进入</p>
                  <ol>
                    <li>
                      <p>停止mysql服务（注：需要终端的管理员权限运行）</p>
                      <blockquote>
                        <p>// windows:</p>
                      </blockquote>
                    </li>
                  </ol>
                  <p>查询进程，并找到PID：</p>
                  <ol>
                    <li>
                      <blockquote>
                        <pre><code>tasklist | findsrt mysqld
<figure class="highlight cos"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">   </span><br><span class="line"><span class="number">2.</span>  <span class="keyword">kill</span>掉mysql进程，否则是停止不了服务的，无论如何都需要<span class="keyword">kill</span>掉：</span><br><span class="line"></span><br><span class="line">![](https:<span class="comment">//qiniu.cuiqingcai.com/wp-content/uploads/2020/06/change_password1.png)</span></span><br><span class="line"></span><br></pre>
                        </td>
                        </tr>
                        </table>
                        </figure> #此处的为上面查询到的PID，每次都是不一样的，所以就不写具体值了 taskkill /F /PID PID <figure class="highlight plain">
                          <table>
                            <tr>
                              <td class="gutter">
                                <pre><span class="line">1</span><br></pre>
                              </td>
                              <td class="code">
                                <pre><span class="line"></span><br></pre>
                              </td>
                            </tr>
                          </table>
                        </figure> net stop mysql <figure class="highlight gcode">
                          <table>
                            <tr>
                              <td class="gutter">
                                <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre>
                              </td>
                              <td class="code">
                                <pre><span class="line"></span><br><span class="line"><span class="comment">// Linux/mac:命令不同，基本思路相同 systemctl stop mysql(centos中默认的mysql是mariadb，可将mysql替换成mariadb即可)</span></span><br><span class="line"></span><br><span class="line">若安装了mysqld<span class="comment">(mysql服务)</span>需停止MySQL的进程服务 ，若没有安装mysql的服务则此步可省略 重新启动mysql服务，且跳过授权表 </span><br></pre>
                              </td>
                            </tr>
                          </table>
                        </figure> Windows： //启动不起来，可能需要net start mysql（这个是特殊情况） mysqld --skip-grant-tables //Linux/mac： mysqld ——safe --skip-grant-tables <figure class="highlight pgsql">
                          <table>
                            <tr>
                              <td class="gutter">
                                <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br></pre>
                              </td>
                              <td class="code">
                                <pre><span class="line"></span><br><span class="line">登录，重新修改密码</span><br><span class="line"></span><br><span class="line">&gt; // 登录(此时MySQL的root权限是没有密码的，直接回车即可进入) mysql -uroot -p // 修改密码（在连接数据库状态中）： <span class="keyword">update</span> mysql.<span class="keyword">user</span> <span class="keyword">set</span> <span class="keyword">password</span>=<span class="keyword">password</span>("yourpassword") <span class="keyword">where</span> <span class="keyword">user</span>="uroot" <span class="keyword">and</span> host="localhost"</span><br><span class="line">&gt; </span><br><span class="line">&gt;</span><br></pre>
                              </td>
                            </tr>
                          </table>
                        </figure> 此语句是告诉数据库，更新密码。密码为yourpassword where 为限制条件 ，限制user为root，host为localhost MySQL的关于用户授权表是存放在mysql库user表中的 <figure class="highlight gcode">
                          <table>
                            <tr>
                              <td class="gutter">
                                <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre>
                              </td>
                              <td class="code">
                                <pre><span class="line"></span><br><span class="line">刷新保存设置<span class="comment">(这个一定需要，要不之前的功夫都白费了)</span>：</span><br><span class="line"></span><br></pre>
                              </td>
                            </tr>
                          </table>
                        </figure> flush privileges; <figure class="highlight plain">
                          <table>
                            <tr>
                              <td class="gutter">
                                <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre>
                              </td>
                              <td class="code">
                                <pre><span class="line"></span><br><span class="line">退出：</span><br><span class="line"></span><br></pre>
                              </td>
                            </tr>
                          </table>
                        </figure> q # 或者 exit <figure class="highlight dos">
                          <table>
                            <tr>
                              <td class="gutter">
                                <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br></pre>
                              </td>
                              <td class="code">
                                <pre><span class="line"></span><br><span class="line">重启启动mysql服务（终端中）： 安装了MySQL服务的：<span class="built_in">net</span> <span class="built_in">start</span> mysql 若没有安装则在<span class="built_in">cmd</span>中mysqld启动一些，用另外的一个<span class="built_in">cmd</span>连接即可</span><br><span class="line"></span><br><span class="line">## 字符编码:</span><br><span class="line"></span><br><span class="line">查看字符编码</span><br><span class="line"></span><br><span class="line">登录进入mysql后</span><br><span class="line"></span><br></pre>
                              </td>
                            </tr>
                          </table>
                        </figure> \\s </code></pre>
                        <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/06/Look_Character-encoding.png" alt=""></p>
                      </blockquote>
                    </li>
                  </ol>
                  <p>进入mysql文件夹（这个可不设置，当然设置最好。）： 字符编码配置默认文件：my-default.ini 新建后缀名为:’<strong>.ini</strong>‘的文件</p>
                  <blockquote>
                    <p>[mysqld] character-set-server=utf8 collation-server=urf8_general_ci [client] default-character=utf8 [mysql] default-character=utf8 user =”root” password =”123456”</p>
                  </blockquote>
                  </p>
                </div>
              </div>
              <div class="post-meta">
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-user"></i>
                  </span>
                  <span class="post-meta-item-text">作者</span>
                  <span><a href="/authors/Payne" class="author" itemprop="url" rel="index">Payne</a></span>
                </span>
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-calendar"></i>
                  </span>
                  <span class="post-meta-item-text">发表于</span>
                  <time title="创建时间：2020-06-26 07:04:20" itemprop="dateCreated datePublished" datetime="2020-06-26T07:04:20+08:00">2020-06-26</time>
                </span>
                <span id="/9456.html" class="post-meta-item leancloud_visitors" data-flag-title="MySQL基本配置" title="阅读次数">
                  <span class="post-meta-item-icon">
                    <i class="fa fa-eye"></i>
                  </span>
                  <span class="post-meta-item-text">阅读次数：</span>
                  <span class="leancloud-visitors-count"></span>
                </span>
                <span class="post-meta-item" title="本文字数">
                  <span class="post-meta-item-icon">
                    <i class="far fa-file-word"></i>
                  </span>
                  <span class="post-meta-item-text">本文字数：</span>
                  <span>2.1k</span>
                </span>
                <span class="post-meta-item" title="阅读时长">
                  <span class="post-meta-item-icon">
                    <i class="far fa-clock"></i>
                  </span>
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                  <span>2 分钟</span>
                </span>
              </div>
            </article>
            <article itemscope itemtype="http://schema.org/Article" class="post-block index" lang="zh-CN">
              <link itemprop="mainEntityOfPage" href="https://cuiqingcai.com/9414.html">
              <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
                <meta itemprop="image" content="/images/avatar.png">
                <meta itemprop="name" content="崔庆才">
                <meta itemprop="description" content="崔庆才的个人站点，记录生活的瞬间，分享学习的心得。">
              </span>
              <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
                <meta itemprop="name" content="静觅">
              </span>
              <header class="post-header">
                <h2 class="post-title" itemprop="name headline">
                  <a class="label"> 技术杂谈 <i class="label-arrow"></i>
                  </a>
                  <a href="/9414.html" class="post-title-link" itemprop="url">把 Mac 终端上的标题去掉</a>
                </h2>
              </header>
              <div class="post-body" itemprop="articleBody">
                <div class="thumb">
                  <img itemprop="contentUrl" class="random">
                </div>
                <div class="excerpt">
                  <p>
                  <p>我自己用 Mac 自带的终端很久了，感觉一直还不错。 但美中不足的是终端上面的这个标题实在让人看着太糟心了，看图： <img src="https://qiniu.cuiqingcai.com/jnpbs.png" alt="image-20200528152435225"> 上面这行标题，没什么用，又这么难看。 我把偏好设置里面的显示内容都去掉了，设置如下： <img src="https://qiniu.cuiqingcai.com/shzki.png" alt="image-20200528151519064"> 但是它总是还显示了一个标题，显示成这个样子： <img src="https://qiniu.cuiqingcai.com/gzxvm.png" alt="image-20200528151017483"> 上面这个标题看得很难受，我想把它改成无任何内容，简洁清爽，如下图所示： <img src="https://qiniu.cuiqingcai.com/porxq.png" alt="image-20200528150948227"> 但是现在无论我怎么改偏好设置都不行，总会带上那些信息。 后来搜索了一番发现是 zsh 的问题。 打开 <code>~/.zshrc</code> 这个文件，找到下面这一行：</p>
                  <figure class="highlight ini">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="attr">DISABLE_AUTO_TITLE</span>=<span class="string">"true"</span></span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>把这行取消注释。 另外偏好设置里面把所有的勾选都去掉，如图所示： <img src="https://qiniu.cuiqingcai.com/rmykb.png" alt="image-20200528151519064"> 另外注意这里标题处不能完全为空，需要打上一个空格，否则窗口上方会显示「终端」二字。 最后在 <code>~/.zshrc</code> 最后还可以加上这一行语句来清屏：</p>
                  <figure class="highlight arduino">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="built_in">clear</span></span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>这样就不会再显示 Last Login 等相关信息了。 最后看下效果，打开终端就会显示如下样子，简洁清爽，舒服了。 <img src="https://qiniu.cuiqingcai.com/x2hge.png" alt="image-20200528151747657"> 完毕。</p>
                  </p>
                </div>
              </div>
              <div class="post-meta">
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-user"></i>
                  </span>
                  <span class="post-meta-item-text">作者</span>
                  <span><a href="/authors/崔庆才" class="author" itemprop="url" rel="index">崔庆才</a></span>
                </span>
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-calendar"></i>
                  </span>
                  <span class="post-meta-item-text">发表于</span>
                  <time title="创建时间：2020-05-28 16:00:50" itemprop="dateCreated datePublished" datetime="2020-05-28T16:00:50+08:00">2020-05-28</time>
                </span>
                <span id="/9414.html" class="post-meta-item leancloud_visitors" data-flag-title="把 Mac 终端上的标题去掉" title="阅读次数">
                  <span class="post-meta-item-icon">
                    <i class="fa fa-eye"></i>
                  </span>
                  <span class="post-meta-item-text">阅读次数：</span>
                  <span class="leancloud-visitors-count"></span>
                </span>
                <span class="post-meta-item" title="本文字数">
                  <span class="post-meta-item-icon">
                    <i class="far fa-file-word"></i>
                  </span>
                  <span class="post-meta-item-text">本文字数：</span>
                  <span>406</span>
                </span>
                <span class="post-meta-item" title="阅读时长">
                  <span class="post-meta-item-icon">
                    <i class="far fa-clock"></i>
                  </span>
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                  <span>1 分钟</span>
                </span>
              </div>
            </article>
            <article itemscope itemtype="http://schema.org/Article" class="post-block index" lang="zh-CN">
              <link itemprop="mainEntityOfPage" href="https://cuiqingcai.com/9403.html">
              <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
                <meta itemprop="image" content="/images/avatar.png">
                <meta itemprop="name" content="崔庆才">
                <meta itemprop="description" content="崔庆才的个人站点，记录生活的瞬间，分享学习的心得。">
              </span>
              <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
                <meta itemprop="name" content="静觅">
              </span>
              <header class="post-header">
                <h2 class="post-title" itemprop="name headline">
                  <a class="label"> Other <i class="label-arrow"></i>
                  </a>
                  <a href="/9403.html" class="post-title-link" itemprop="url">Git 学习日志之五——SSH配置</a>
                </h2>
              </header>
              <div class="post-body" itemprop="articleBody">
                <div class="thumb">
                  <img itemprop="contentUrl" class="random">
                </div>
                <div class="excerpt">
                  <p>
                  <h1 id="SSH配置："><a href="#SSH配置：" class="headerlink" title="SSH配置："></a>SSH配置：</h1>
                  <ul>
                    <li>使用命令在home文件夹下新建一个ssh文件<img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/SSH配置1.png" alt=""></li>
                  </ul>
                  <p>配置SSH信息，命令：ssh-keygen -t rsa -C e-mail（此时的C必须是大写，Email为绑定了github的邮箱），稍后一路回车选择默认值即可</p>
                  <ul>
                    <li><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/SSH配置2.png" alt=""></li>
                  </ul>
                  <p>查看id_rsa.pub 信息，并将其复制到粘贴版中(稍后会用到！)</p>
                  <ul>
                    <li><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/SSH配置3.png" alt=""></li>
                    <li>进入到github中点击右上角的头像，选择setting ——&gt; SSH and GPG keys ——&gt; 将上述复制内容粘贴到编辑面板中——&gt;完成</li>
                    <li><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/SSH配置4.png" alt=""> <img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/SSH配置5.png" alt=""></li>
                  </ul>
                  <p>完成</p>
                  </p>
                </div>
              </div>
              <div class="post-meta">
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-user"></i>
                  </span>
                  <span class="post-meta-item-text">作者</span>
                  <span><a href="/authors/Payne" class="author" itemprop="url" rel="index">Payne</a></span>
                </span>
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-calendar"></i>
                  </span>
                  <span class="post-meta-item-text">发表于</span>
                  <time title="创建时间：2020-05-24 16:10:26" itemprop="dateCreated datePublished" datetime="2020-05-24T16:10:26+08:00">2020-05-24</time>
                </span>
                <span id="/9403.html" class="post-meta-item leancloud_visitors" data-flag-title="Git 学习日志之五——SSH配置" title="阅读次数">
                  <span class="post-meta-item-icon">
                    <i class="fa fa-eye"></i>
                  </span>
                  <span class="post-meta-item-text">阅读次数：</span>
                  <span class="leancloud-visitors-count"></span>
                </span>
                <span class="post-meta-item" title="本文字数">
                  <span class="post-meta-item-icon">
                    <i class="far fa-file-word"></i>
                  </span>
                  <span class="post-meta-item-text">本文字数：</span>
                  <span>217</span>
                </span>
                <span class="post-meta-item" title="阅读时长">
                  <span class="post-meta-item-icon">
                    <i class="far fa-clock"></i>
                  </span>
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                  <span>1 分钟</span>
                </span>
              </div>
            </article>
            <article itemscope itemtype="http://schema.org/Article" class="post-block index" lang="zh-CN">
              <link itemprop="mainEntityOfPage" href="https://cuiqingcai.com/9377.html">
              <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
                <meta itemprop="image" content="/images/avatar.png">
                <meta itemprop="name" content="崔庆才">
                <meta itemprop="description" content="崔庆才的个人站点，记录生活的瞬间，分享学习的心得。">
              </span>
              <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
                <meta itemprop="name" content="静觅">
              </span>
              <header class="post-header">
                <h2 class="post-title" itemprop="name headline">
                  <a class="label"> Other <i class="label-arrow"></i>
                  </a>
                  <a href="/9377.html" class="post-title-link" itemprop="url">Git学习日志之四——远程库操作</a>
                </h2>
              </header>
              <div class="post-body" itemprop="articleBody">
                <div class="thumb">
                  <img itemprop="contentUrl" class="random">
                </div>
                <div class="excerpt">
                  <p>
                  <h1 id="远程库操作"><a href="#远程库操作" class="headerlink" title="远程库操作"></a>远程库操作</h1>
                  <h3 id="创建远程库地址别名"><a href="#创建远程库地址别名" class="headerlink" title="创建远程库地址别名"></a>创建远程库地址别名</h3>
                  <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/远程库地址别名.png" alt=""></p>
                  <blockquote>
                    <p>git remote add [origin] [Warehouse URI] 创建别名为origin，github仓库地址为。。。的 git remote -v 查看相关信息</p>
                  </blockquote>
                  <h3 id="推送操作："><a href="#推送操作：" class="headerlink" title="推送操作："></a>推送操作：</h3>
                  <p>使用命令:</p>
                  <figure class="highlight gcode">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">git push 别名<span class="comment">(origin)</span> 分支名<span class="comment">(master)</span></span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>注意是将本地库进行推送！！！（此时时事先完成了一些对本地库相关操作）</p>
                  <h3 id="克隆操作："><a href="#克隆操作：" class="headerlink" title="克隆操作："></a>克隆操作：</h3>
                  <blockquote>
                    <p>git clone [URI]</p>
                  </blockquote>
                  <ol>
                    <li>首先复制相对应的仓库地址：</li>
                  </ol>
                  <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/克隆操作.png" alt=""></p>
                  <ol>
                    <li><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/克隆操作1.png" alt=""><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/克隆操作1.png" alt=""></li>
                    <li><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/克隆操作2.png" alt=""></li>
                  </ol>
                  <p>这里是克隆下来的结果显示</p>
                  <ol>
                    <li><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/克隆操作结果显示.png" alt=""></li>
                  </ol>
                  <ul>
                    <li>
                      <p>克隆的作用：</p>
                      <ol>
                        <li>完整的把远程库克隆下来</li>
                        <li>创建origin远程地址别名</li>
                        <li>初始化本地库</li>
                      </ol>
                      <h1 id="团队内协作"><a href="#团队内协作" class="headerlink" title="团队内协作"></a>团队内协作</h1>
                    </li>
                    <li>
                      <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/团队内协作流程图1-1.png" alt=""></p>
                    </li>
                    <li>
                      <h3 id="邀请成员加入仓库工作团队："><a href="#邀请成员加入仓库工作团队：" class="headerlink" title="邀请成员加入仓库工作团队："></a>邀请成员加入仓库工作团队：</h3>
                      <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/push操作1.png" alt=""> 如果没有加入团队是没有权限向所相关的库进行推送的！！！ 如何设置（获得）权限呢？（在仓库中点击设置选项进入如下界面） <img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/push操作之邀请成员加入团队1.png" alt=""></p>
                    </li>
                  </ul>
                  <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/push操作之邀请成员加入团队2.png" alt=""> 完成以上操作之后在进行推送即可有权限完成推送。</p>
                  <h1 id="fetch-and-merge-操作（二者一起使用相当于pull）"><a href="#fetch-and-merge-操作（二者一起使用相当于pull）" class="headerlink" title="fetch and merge 操作（二者一起使用相当于pull）"></a>fetch and merge 操作（二者一起使用相当于pull）</h1>
                  <blockquote>
                    <p>git remote -v</p>
                    <p>git fetch [远程库中简称(origin)] [远程库分支名(master)]</p>
                    <p>git merge [远程库中简称/远程库分支名(origin/master)]</p>
                  </blockquote>
                  <h3 id="fetch："><a href="#fetch：" class="headerlink" title="fetch："></a>fetch：</h3>
                  <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/fetch操作1.png" alt=""><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/fetch操作2.png" alt=""></p>
                  <ol>
                    <li>
                      <p>首先是查看了remote</p>
                    </li>
                    <li>
                      <p>然后使用 git fetch命令下载了远程库内容</p>
                    </li>
                    <li>
                      <p>查看本地库中的project.txt内容</p>
                    </li>
                    <li>
                      <p>切换到新下载的master目录（可使用git reflog查看分支状态）</p>
                    </li>
                    <li>
                      <p>查看远程库中project.txt 内容</p>
                    </li>
                  </ol>
                  <h3 id="merge：将远程库下载的内容与本地库合并"><a href="#merge：将远程库下载的内容与本地库合并" class="headerlink" title="merge：将远程库下载的内容与本地库合并"></a>merge：将远程库下载的内容与本地库合并</h3>
                  <figure class="highlight crmsh">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">git mergo origin/<span class="literal">master</span></span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/merge操作1.png" alt=""></p>
                  <h1 id="Pull使用："><a href="#Pull使用：" class="headerlink" title="Pull使用："></a>Pull使用：</h1>
                  <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/pull使用.png" alt=""></p>
                  <h2 id="pull冲突处理："><a href="#pull冲突处理：" class="headerlink" title="pull冲突处理："></a>pull冲突处理：</h2>
                  <ul>
                    <li>
                      <p>缘由：如果不是基于远程库的最新版本进行修改的</p>
                    </li>
                    <li>
                      <p>解决：不能推送，必须先拉，拉下来进入冲突状态，进行对内容的修改，删除不相关内容，重新处理即可。更详情请查看前面的push冲突解决。</p>
                    </li>
                  </ul>
                  <h1 id="团队外协作："><a href="#团队外协作：" class="headerlink" title="团队外协作："></a>团队外协作：</h1>
                  <p>流程：<img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/团队外协作流程图-1.png" alt=""> <img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/团队外协作1.png" alt=""> 具体的流程可以参考上面的流程图：首先是fork一个仓库，然后拉去请求 后clone到本地，然后编辑更改。后推送到远程仓库（这里的克隆操作就省略了，具体的可以看上面） <img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/团队外协作2.png" alt=""> <img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/团队外协作3.png" alt=""> <img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/完成提交.png" alt=""> 发送即可完成。 然后接收者根据流程图步骤6开始操作即可</p>
                  </p>
                </div>
              </div>
              <div class="post-meta">
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-user"></i>
                  </span>
                  <span class="post-meta-item-text">作者</span>
                  <span><a href="/authors/Payne" class="author" itemprop="url" rel="index">Payne</a></span>
                </span>
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-calendar"></i>
                  </span>
                  <span class="post-meta-item-text">发表于</span>
                  <time title="创建时间：2020-05-24 15:10:15" itemprop="dateCreated datePublished" datetime="2020-05-24T15:10:15+08:00">2020-05-24</time>
                </span>
                <span id="/9377.html" class="post-meta-item leancloud_visitors" data-flag-title="Git学习日志之四——远程库操作" title="阅读次数">
                  <span class="post-meta-item-icon">
                    <i class="fa fa-eye"></i>
                  </span>
                  <span class="post-meta-item-text">阅读次数：</span>
                  <span class="leancloud-visitors-count"></span>
                </span>
                <span class="post-meta-item" title="本文字数">
                  <span class="post-meta-item-icon">
                    <i class="far fa-file-word"></i>
                  </span>
                  <span class="post-meta-item-text">本文字数：</span>
                  <span>838</span>
                </span>
                <span class="post-meta-item" title="阅读时长">
                  <span class="post-meta-item-icon">
                    <i class="far fa-clock"></i>
                  </span>
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                  <span>1 分钟</span>
                </span>
              </div>
            </article>
            <article itemscope itemtype="http://schema.org/Article" class="post-block index" lang="zh-CN">
              <link itemprop="mainEntityOfPage" href="https://cuiqingcai.com/9359.html">
              <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
                <meta itemprop="image" content="/images/avatar.png">
                <meta itemprop="name" content="崔庆才">
                <meta itemprop="description" content="崔庆才的个人站点，记录生活的瞬间，分享学习的心得。">
              </span>
              <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
                <meta itemprop="name" content="静觅">
              </span>
              <header class="post-header">
                <h2 class="post-title" itemprop="name headline">
                  <a class="label"> Other <i class="label-arrow"></i>
                  </a>
                  <a href="/9359.html" class="post-title-link" itemprop="url">Git学习日志之三-本地库操作</a>
                </h2>
              </header>
              <div class="post-body" itemprop="articleBody">
                <div class="thumb">
                  <img itemprop="contentUrl" class="random">
                </div>
                <div class="excerpt">
                  <p>
                  <h1 id="在编辑前首先介绍以下工作流程"><a href="#在编辑前首先介绍以下工作流程" class="headerlink" title="在编辑前首先介绍以下工作流程"></a>在编辑前首先介绍以下工作流程</h1>
                  <h1 id="本地库与远程库"><a href="#本地库与远程库" class="headerlink" title="本地库与远程库"></a>本地库与远程库</h1>
                  <h3 id="团队内部协作："><a href="#团队内部协作：" class="headerlink" title="团队内部协作："></a>团队内部协作：</h3>
                  <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/团队内协作流程图1-1.png" alt=""></p>
                  <h3 id="跨团队协作："><a href="#跨团队协作：" class="headerlink" title="跨团队协作："></a>跨团队协作：</h3>
                  <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/团队外协作流程图-1.png" alt=""></p>
                  <h1 id="添加提交以及查看状态"><a href="#添加提交以及查看状态" class="headerlink" title="添加提交以及查看状态"></a>添加提交以及查看状态</h1>
                  <h3 id="添加：将工作区的“新建-修改”添加到暂存区"><a href="#添加：将工作区的“新建-修改”添加到暂存区" class="headerlink" title="添加：将工作区的“新建/修改”添加到暂存区"></a>添加：将工作区的“新建/修改”添加到暂存区</h3>
                  <figure class="highlight applescript">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">git add [<span class="built_in">file</span> <span class="built_in">name</span>]</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <h3 id="暂存区删除"><a href="#暂存区删除" class="headerlink" title="暂存区删除"></a>暂存区删除</h3>
                  <figure class="highlight delphi">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">git rm --cached [<span class="keyword">file</span> <span class="keyword">name</span>]</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <h3 id="查看状态：查看工作区、暂存区状态"><a href="#查看状态：查看工作区、暂存区状态" class="headerlink" title="查看状态：查看工作区、暂存区状态"></a>查看状态：查看工作区、暂存区状态</h3>
                  <figure class="highlight ebnf">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="attribute">git status</span></span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <h3 id="提交：将暂存区的内容提交到本地库"><a href="#提交：将暂存区的内容提交到本地库" class="headerlink" title="提交：将暂存区的内容提交到本地库"></a>提交：将暂存区的内容提交到本地库</h3>
                  <figure class="highlight sql">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">git <span class="keyword">commit</span> -m <span class="string">"commit message"</span> [<span class="keyword">file</span> <span class="keyword">name</span>]</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <h3 id="查看历史-日志"><a href="#查看历史-日志" class="headerlink" title="查看历史(日志)"></a>查看历史(日志)</h3>
                  <figure class="highlight livecodeserver">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">git <span class="built_in">log</span><span class="comment">：// 最完整的日志形式</span></span><br><span class="line"></span><br><span class="line">// 多屏显示控制方式：空格向下翻页，b向上翻页，q 退出</span><br><span class="line"></span><br><span class="line">git <span class="built_in">log</span> <span class="comment">--pretty=oneline：// 简洁的显示</span></span><br><span class="line"></span><br><span class="line">git <span class="built_in">log</span> <span class="comment">--oneline   // 更简洁的显示</span></span><br><span class="line"></span><br><span class="line">git reflog <span class="comment">：// HEAD@&#123;移动到当前版本需要多少‘步数’&#125;</span></span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <hr>
                  <h3 id="实际操作"><a href="#实际操作" class="headerlink" title="实际操作"></a>实际操作</h3>
                  <p>基本思路图： <img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/git基本使用方法2.png" alt=""> 步骤如下：</p>
                  <ol>
                    <li>使用vim命令新建一个名为demo1.txt ，并查看状态。提示我们暂存区没有相关的文件，并标红警告</li>
                  </ol>
                  <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/实际操作1-新建一个文件.png" alt=""></p>
                  <ol>
                    <li>将新建的文件新增到暂存区：</li>
                  </ol>
                  <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/实际操作2-添加入缓存区.png" alt=""></p>
                  <ol>
                    <li>将文件添加到本地库：<ul>
                        <li>方式一：<img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/实际操作3-添加到本地库.png" alt=""></li>
                        <li>方式二：git commit [file name] 不建议使用</li>
                      </ul>
                    </li>
                  </ol>
                  <p>当然直接commit也可以，不过。。。</p>
                  <h1 id="版本前进与后退：-基于索引值对文件进行前进与后退操作"><a href="#版本前进与后退：-基于索引值对文件进行前进与后退操作" class="headerlink" title="版本前进与后退：(基于索引值对文件进行前进与后退操作)"></a>版本前进与后退：(基于索引值对文件进行前进与后退操作)</h1>
                  <p>Vim多屏显示控制方式：</p>
                  <ul>
                    <li>
                      <p>空格向下翻页</p>
                    </li>
                    <li>
                      <p>b向上翻页</p>
                    </li>
                    <li>
                      <p>q退出</p>
                    </li>
                  </ul>
                  <p>查看操作日志： </p>
                  <figure class="highlight angelscript">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">git <span class="built_in">ref</span>log ：<span class="comment">// HEAD@&#123;移动到当前版本需要多少‘步数’&#125;</span></span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <h3 id="实际操作：查看reflog"><a href="#实际操作：查看reflog" class="headerlink" title="实际操作：查看reflog"></a>实际操作：查看reflog</h3>
                  <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/前进与后退基础搭建.png" alt=""></p>
                  <ol>
                    <li>
                      <p>首先使用vim命令新建了一个名为hard.txt，并在里面写入项目数据‘aaa、bbb’</p>
                    </li>
                    <li>
                      <p>使用git add hard.txt 命令将hard.txt添加到暂存区</p>
                    </li>
                    <li>
                      <p>使用git commit hard.txt 命令将hard.txt 添加到 本地库</p>
                    </li>
                    <li>
                      <p>使用命令git reflog查看相关的将要操作的参考</p>
                    </li>
                  </ol>
                  <h4 id="给‘项目’版本进行更新："><a href="#给‘项目’版本进行更新：" class="headerlink" title="给‘项目’版本进行更新："></a>给‘项目’版本进行更新：</h4>
                  <p>更新，并将其commit到本地库中 <img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/更新1.png" alt=""> <img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/更新2.png" alt=""></p>
                  <p>基本的已完成了，让我们来试试版本的前进与后退，并查看相对应的内容</p>
                  <blockquote>
                    <p>git reflog</p>
                    <p>git reset —hard [索引值] //前进与后退索引命令</p>
                  </blockquote>
                  <p>注意观察 cat hard.txt 的内容！！！</p>
                  <h3 id="版本后退："><a href="#版本后退：" class="headerlink" title="版本后退："></a>版本后退：</h3>
                  <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/版本后退1.png" alt=""> 版本前进 <img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/版本前进1.png" alt=""></p>
                  <h2 id="基于符号的版本控制"><a href="#基于符号的版本控制" class="headerlink" title="基于符号的版本控制"></a>基于符号的版本控制</h2>
                  <figure class="highlight delphi">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="comment">// 基于^符号：只能进行版本后退</span></span><br><span class="line">git reset --hard [<span class="keyword">file</span> <span class="keyword">name</span>]^ <span class="comment">//回退一个版本</span></span><br><span class="line">git reset --hard [<span class="keyword">file</span> <span class="keyword">name</span>]^^ <span class="comment">//回退两个版本</span></span><br><span class="line"><span class="comment">// 基于~符号:</span></span><br><span class="line">git reset --hard [<span class="keyword">file</span> <span class="keyword">name</span>]~n <span class="comment">//回退n个版本</span></span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <h2 id="reset命令参数对比："><a href="#reset命令参数对比：" class="headerlink" title="reset命令参数对比："></a>reset命令参数对比：</h2>
                  <p>-- soft</p>
                  <p>仅仅在本地库中移动head指针</p>
                  <ul>
                    <li>本地库下/上移动，相对的暂存区与工作区则被提前/回退了</li>
                  </ul>
                  <p>-- mixed</p>
                  <p>在本地库移动Head指针</p>
                  <ul>
                    <li>不仅会移动本地库还会移动暂存区，不对工作区做修改</li>
                  </ul>
                  <p>重置缓存区</p>
                  <p>-- hard</p>
                  <p>在本地库移动head指针</p>
                  <p>重置暂存区，重置工作区；</p>
                  <h1 id="分支："><a href="#分支：" class="headerlink" title="分支："></a>分支：</h1>
                  <p>同时并行推进多个功能开发，提高效率</p>
                  <p>各个分支在开发过程中，如果某一个分支，开发失败，不会对其他造成影响</p>
                  <h2 id="分支操作："><a href="#分支操作：" class="headerlink" title="分支操作："></a>分支操作：</h2>
                  <figure class="highlight delphi">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="comment">//查看所有的分支</span></span><br><span class="line">git branch -v</span><br><span class="line"><span class="comment">// 创建分支</span></span><br><span class="line">git branch [<span class="keyword">file</span> <span class="keyword">name</span>]</span><br><span class="line"><span class="comment">//切换分支</span></span><br><span class="line">git checkout [<span class="keyword">file</span> <span class="keyword">name</span>]</span><br><span class="line"><span class="comment">// 合并分支</span></span><br><span class="line"><span class="number">1</span>.切换到接受修改的分支上（被合并，增加新内容）</span><br><span class="line"><span class="number">2</span>.执行merge命令即可</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>合并分支注意：首先对其他分支进行编辑更新添加新功能，然后需切换到主分支master上，执行merge命令，完成合并。便可更新增的功能</p>
                  <h4 id="解决冲突（手动），当不能直接使用merge合并时，则需要"><a href="#解决冲突（手动），当不能直接使用merge合并时，则需要" class="headerlink" title="// 解决冲突（手动），当不能直接使用merge合并时，则需要"></a>// 解决冲突（手动），当不能直接使用merge合并时，则需要</h4>
                  <p>何时会出现合并错误？又如何去修改？</p>
                  <p>在不同分支出现出现相对应的更改时，自动合并不知道以何更新为主，合并将产生冲突；</p>
                  <p>重新add，commit 注意commit不能带文件名</p>
                  <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/解决冲突.png" alt=""></p>
                  <ol>
                    <li>
                      <p>编辑文件，删除特殊符号</p>
                    </li>
                    <li>
                      <p>把文件修改至满意，保存并退出</p>
                    </li>
                    <li>
                      <p>git add 【file name】</p>
                    </li>
                    <li>
                      <p>git commit -m “log message”</p>
                      <ul>
                        <li>此处的commit 不能带file name</li>
                      </ul>
                    </li>
                  </ol>
                  </p>
                </div>
              </div>
              <div class="post-meta">
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-user"></i>
                  </span>
                  <span class="post-meta-item-text">作者</span>
                  <span><a href="/authors/Payne" class="author" itemprop="url" rel="index">Payne</a></span>
                </span>
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-calendar"></i>
                  </span>
                  <span class="post-meta-item-text">发表于</span>
                  <time title="创建时间：2020-05-24 14:26:07" itemprop="dateCreated datePublished" datetime="2020-05-24T14:26:07+08:00">2020-05-24</time>
                </span>
                <span id="/9359.html" class="post-meta-item leancloud_visitors" data-flag-title="Git学习日志之三-本地库操作" title="阅读次数">
                  <span class="post-meta-item-icon">
                    <i class="fa fa-eye"></i>
                  </span>
                  <span class="post-meta-item-text">阅读次数：</span>
                  <span class="leancloud-visitors-count"></span>
                </span>
                <span class="post-meta-item" title="本文字数">
                  <span class="post-meta-item-icon">
                    <i class="far fa-file-word"></i>
                  </span>
                  <span class="post-meta-item-text">本文字数：</span>
                  <span>1.6k</span>
                </span>
                <span class="post-meta-item" title="阅读时长">
                  <span class="post-meta-item-icon">
                    <i class="far fa-clock"></i>
                  </span>
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                  <span>1 分钟</span>
                </span>
              </div>
            </article>
            <article itemscope itemtype="http://schema.org/Article" class="post-block index" lang="zh-CN">
              <link itemprop="mainEntityOfPage" href="https://cuiqingcai.com/9348.html">
              <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
                <meta itemprop="image" content="/images/avatar.png">
                <meta itemprop="name" content="崔庆才">
                <meta itemprop="description" content="崔庆才的个人站点，记录生活的瞬间，分享学习的心得。">
              </span>
              <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
                <meta itemprop="name" content="静觅">
              </span>
              <header class="post-header">
                <h2 class="post-title" itemprop="name headline">
                  <a class="label"> Other <i class="label-arrow"></i>
                  </a>
                  <a href="/9348.html" class="post-title-link" itemprop="url">Git学习日志之二-使用前准备——本地库初始化与设置签名</a>
                </h2>
              </header>
              <div class="post-body" itemprop="articleBody">
                <div class="thumb">
                  <img itemprop="contentUrl" class="random">
                </div>
                <div class="excerpt">
                  <p>
                  <p> 简介：了解过git来源的朋友，应该会晓得git与Linux系统是同一作者，所以在此操作Linux的基础命令几乎都能运行，在此便不在过多赘述： 列举几个在此常用的命令：</p>
                  <ul>
                    <li>ls -lA:查看所有的目录（包含隐藏文件夹）</li>
                    <li>ls -l|less 分屏的去查看</li>
                  </ul>
                  <p>安装好了之后如果是默认安装，git会添加到鼠标右击的快捷栏中（如下所示）： <img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/1.本地库初始化.png" alt=""></p>
                  <h1 id="Git使用前许初始化本地库，具体操作如下："><a href="#Git使用前许初始化本地库，具体操作如下：" class="headerlink" title="Git使用前许初始化本地库，具体操作如下："></a>Git使用前许初始化本地库，具体操作如下：</h1>
                  <h3 id="本地库初始化-命令行：Git-Bash-Here"><a href="#本地库初始化-命令行：Git-Bash-Here" class="headerlink" title="本地库初始化:(命令行：Git Bash Here)"></a>本地库初始化:(命令行：Git Bash Here)</h3>
                  <ul>
                    <li>命令：git add（使用git bash here）</li>
                  </ul>
                  <p>进入相对应的目录下，新建一个用于学习Git的文件夹</p>
                  <figure class="highlight arduino">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="built_in">mkdir</span> xxx</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>初始化本地库：</p>
                  <figure class="highlight jboss-cli">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="keyword">cd</span> xxx  <span class="string">//</span> 进入到相对应的目录下</span><br><span class="line">git init <span class="string">//</span>初始化本地命令</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/2.本地库初始化1.png" alt=""></p>
                  <ol>
                    <li>首先是使用了’ll‘，命令查看当前前目录先文件夹及权限</li>
                    <li>使用 mkdir anothergit 命令在当前目录下创建了一个名为anothergit的文件夹</li>
                    <li>使用 git init ，初始化本地库</li>
                  </ol>
                  <p>初始化成功效果展示： <img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/3.本地库初始化2.png" alt=""></p>
                  <ol>
                    <li>
                      <pre><code>ll -lA // 显示该目录下全部的文件夹（注：如果使用’ll‘是不能显示出’.git/‘的）
<figure class="highlight angelscript"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br></pre>
                      </td>
                      <td class="code">
                        <pre><span class="line">    </span><br><span class="line"><span class="number">2.</span></span><br></pre>
                      </td>
                      </tr>
                      </table>
                      </figure> ll .git/ // 查看.git/文件夹下的可显示的文件夹 <figure class="highlight">
                        <table>
                          <tr>
                            <td class="gutter">
                              <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br></pre>
                            </td>
                            <td class="code">
                              <pre><span class="line">    </span><br><span class="line"></span><br><span class="line">注：.git目录中存放的是本地库相关的配置文件，请勿随意删除及修改。（这里凉了就凉凉了，git的命令也帮不了你）</span><br><span class="line"></span><br><span class="line">## 设置签名：</span><br><span class="line"></span><br><span class="line">主要用于区分开发者身份，并非会验证验证其邮箱真实性，</span><br><span class="line"></span><br><span class="line">*   ​ 形式：</span><br><span class="line">    *   用户名：Payne</span><br><span class="line">    *   Email地址：123123@xxx.com</span><br><span class="line">    *   这里设置的前和登录远程库的账号密码无任何关系</span><br><span class="line">*   签名：如果都有的话会以项目级别仓库签名为使用，否则会以系统用户级别为使用</span><br><span class="line">    </span><br><span class="line">    *   项目级别（仓库级别）：仅在此库有效</span><br><span class="line">    *   命令：</span><br></pre>
                            </td>
                          </tr>
                        </table>
                      </figure> //主要用的命令 git config // 实际用的 git config user.name Payne_project git config user.eamil 123123@xxx.com <figure class="highlight awk">
                        <table>
                          <tr>
                            <td class="gutter">
                              <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre>
                            </td>
                            <td class="code">
                              <pre><span class="line">    </span><br><span class="line">*   实际操作：</span><br><span class="line">*   ![](https:<span class="regexp">//</span>qiniu.cuiqingcai.com<span class="regexp">/wp-content/u</span>ploads<span class="regexp">/2020/</span><span class="number">05</span><span class="regexp">/4.项目级别签名设置.png)使用命令,查看项目级别签名设置结果：</span></span><br></pre>
                            </td>
                          </tr>
                        </table>
                      </figure> cat ./git/config <figure class="highlight asciidoc">
                        <table>
                          <tr>
                            <td class="gutter">
                              <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre>
                            </td>
                            <td class="code">
                              <pre><span class="line"><span class="code">    </span></span><br><span class="line"><span class="bullet">*   </span>系统用户级别：登录当前操作系统的用户范围（包含多个项目级别，仓库级别）</span><br><span class="line"><span class="bullet">*   </span>命令：</span><br></pre>
                            </td>
                          </tr>
                        </table>
                      </figure> //主要用的命令 git config --global // 实际用的 git config --global user.name Payne_global git config --global user.eamil 123123@xxx.com </code></pre>
                      <ul>
                        <li>实际操作<img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/5.系统级别签名设置.png" alt="">系统用户级别的config是在系统目录下，如果不想太麻烦的去找直接 cat ~/.git config 即可</li>
                      </ul>
                    </li>
                  </ol>
                  </p>
                </div>
              </div>
              <div class="post-meta">
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-user"></i>
                  </span>
                  <span class="post-meta-item-text">作者</span>
                  <span><a href="/authors/Payne" class="author" itemprop="url" rel="index">Payne</a></span>
                </span>
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-calendar"></i>
                  </span>
                  <span class="post-meta-item-text">发表于</span>
                  <time title="创建时间：2020-05-24 12:19:44" itemprop="dateCreated datePublished" datetime="2020-05-24T12:19:44+08:00">2020-05-24</time>
                </span>
                <span id="/9348.html" class="post-meta-item leancloud_visitors" data-flag-title="Git学习日志之二-使用前准备——本地库初始化与设置签名" title="阅读次数">
                  <span class="post-meta-item-icon">
                    <i class="fa fa-eye"></i>
                  </span>
                  <span class="post-meta-item-text">阅读次数：</span>
                  <span class="leancloud-visitors-count"></span>
                </span>
                <span class="post-meta-item" title="本文字数">
                  <span class="post-meta-item-icon">
                    <i class="far fa-file-word"></i>
                  </span>
                  <span class="post-meta-item-text">本文字数：</span>
                  <span>1.1k</span>
                </span>
                <span class="post-meta-item" title="阅读时长">
                  <span class="post-meta-item-icon">
                    <i class="far fa-clock"></i>
                  </span>
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                  <span>1 分钟</span>
                </span>
              </div>
            </article>
            <article itemscope itemtype="http://schema.org/Article" class="post-block index" lang="zh-CN">
              <link itemprop="mainEntityOfPage" href="https://cuiqingcai.com/9336.html">
              <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
                <meta itemprop="image" content="/images/avatar.png">
                <meta itemprop="name" content="崔庆才">
                <meta itemprop="description" content="崔庆才的个人站点，记录生活的瞬间，分享学习的心得。">
              </span>
              <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
                <meta itemprop="name" content="静觅">
              </span>
              <header class="post-header">
                <h2 class="post-title" itemprop="name headline">
                  <a class="label"> Other <i class="label-arrow"></i>
                  </a>
                  <a href="/9336.html" class="post-title-link" itemprop="url">Git学习日志之一-安装Git</a>
                </h2>
              </header>
              <div class="post-body" itemprop="articleBody">
                <div class="thumb">
                  <img itemprop="contentUrl" class="random">
                </div>
                <div class="excerpt">
                  <p>
                  <p>这篇文章是我近日学习git的笔记，单纯想做个“云备份什么的”，所以的话侧重点就有点偏。</p>
                  <p>Git的来源、用处相信大家都或多或少的了解，如果真的想知道的话请自行百度哈~</p>
                  <h1 id="Git的安装："><a href="#Git的安装：" class="headerlink" title="Git的安装："></a>Git的安装：</h1>
                  <p>推荐镜像安装：<a href="https://npm.taobao.org/mirrors/git-for-windows/" target="_blank" rel="noopener">https://npm.taobao.org/mirrors/git-for-windows/</a> <a href="https://git-scm.com/" target="_blank" rel="noopener">Git官网地址</a></p>
                  <blockquote>
                    <p><a href="https://git-scm.com/" target="_blank" rel="noopener">https://git-scm.com/</a></p>
                  </blockquote>
                  <p><a href="[https://git-scm.com/download](https://git-scm.com/download">Git安装相关简介</a>)：</p>
                  <blockquote>
                    <p><a href="https://git-scm.com/download" target="_blank" rel="noopener">https://git-scm.com/download</a></p>
                  </blockquote>
                  <h3 id="各系统的安装-并非唯一方式！"><a href="#各系统的安装-并非唯一方式！" class="headerlink" title="各系统的安装(并非唯一方式！)"></a>各系统的安装(并非唯一方式！)</h3>
                  <p>Window Git下载地址:</p>
                  <blockquote>
                    <p><a href="https://git-scm.com/download/win" target="_blank" rel="noopener">https://git-scm.com/download/win</a></p>
                  </blockquote>
                  <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/git安装1.png" alt=""> <img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/Git安装2.png" alt=""> 选择相对应的版本下载即可，下载完成后打开相对应的安装执行，有选项的选择的建议点击第一个默认配置，就不在此过多赘述啦。</p>
                  <h2 id="MacOS：在命令行中输入以下命令即可"><a href="#MacOS：在命令行中输入以下命令即可" class="headerlink" title="MacOS：在命令行中输入以下命令即可"></a>MacOS：在命令行中输入以下命令即可</h2>
                  <blockquote>
                    <p>brew install git</p>
                  </blockquote>
                  <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/MacOS.png" alt=""> 以上的网页地址为： <a href="https://git-scm.com/download/mac" target="_blank" rel="noopener">https://git-scm.com/download/mac</a></p>
                  <h2 id="Linux：-sudo-以管理员权限运行相关的命令，中间的‘-y’：默认同意安装"><a href="#Linux：-sudo-以管理员权限运行相关的命令，中间的‘-y’：默认同意安装" class="headerlink" title="Linux：(sudo:以管理员权限运行相关的命令，中间的‘-y’：默认同意安装)"></a>Linux：(sudo:以管理员权限运行相关的命令，中间的‘-y’：默认同意安装)</h2>
                  <p>在这里以Ubuntu为例： <img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/Linux.png" alt=""> Ubuntu：</p>
                  <blockquote>
                    <p>apt-get install git apt-get -y install git sudo apt-get install git sudo apt-get -y install git</p>
                  </blockquote>
                  <p>更加具体的可自行查阅Linux系统安装Git相关：</p>
                  <blockquote>
                    <p><a href="https://git-scm.com/download/linux" target="_blank" rel="noopener">https://git-scm.com/download/linux</a></p>
                  </blockquote>
                  <h1 id="Git和代码托管中心"><a href="#Git和代码托管中心" class="headerlink" title="Git和代码托管中心"></a>Git和代码托管中心</h1>
                  <p>代码托管中心的任务：维护远程库</p>
                  <h3 id="局域网环境下："><a href="#局域网环境下：" class="headerlink" title="局域网环境下："></a>局域网环境下：</h3>
                  <ul>
                    <li>可搭建GitLab 服务器</li>
                  </ul>
                  <h3 id="外网环境下："><a href="#外网环境下：" class="headerlink" title="外网环境下："></a>外网环境下：</h3>
                  <ul>
                    <li>Github</li>
                    <li>码云</li>
                    <li>等等</li>
                  </ul>
                  </p>
                </div>
              </div>
              <div class="post-meta">
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-user"></i>
                  </span>
                  <span class="post-meta-item-text">作者</span>
                  <span><a href="/authors/Payne" class="author" itemprop="url" rel="index">Payne</a></span>
                </span>
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-calendar"></i>
                  </span>
                  <span class="post-meta-item-text">发表于</span>
                  <time title="创建时间：2020-05-24 12:03:08" itemprop="dateCreated datePublished" datetime="2020-05-24T12:03:08+08:00">2020-05-24</time>
                </span>
                <span id="/9336.html" class="post-meta-item leancloud_visitors" data-flag-title="Git学习日志之一-安装Git" title="阅读次数">
                  <span class="post-meta-item-icon">
                    <i class="fa fa-eye"></i>
                  </span>
                  <span class="post-meta-item-text">阅读次数：</span>
                  <span class="leancloud-visitors-count"></span>
                </span>
                <span class="post-meta-item" title="本文字数">
                  <span class="post-meta-item-icon">
                    <i class="far fa-file-word"></i>
                  </span>
                  <span class="post-meta-item-text">本文字数：</span>
                  <span>661</span>
                </span>
                <span class="post-meta-item" title="阅读时长">
                  <span class="post-meta-item-icon">
                    <i class="far fa-clock"></i>
                  </span>
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                  <span>1 分钟</span>
                </span>
              </div>
            </article>
            <article itemscope itemtype="http://schema.org/Article" class="post-block index" lang="zh-CN">
              <link itemprop="mainEntityOfPage" href="https://cuiqingcai.com/9296.html">
              <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
                <meta itemprop="image" content="/images/avatar.png">
                <meta itemprop="name" content="崔庆才">
                <meta itemprop="description" content="崔庆才的个人站点，记录生活的瞬间，分享学习的心得。">
              </span>
              <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
                <meta itemprop="name" content="静觅">
              </span>
              <header class="post-header">
                <h2 class="post-title" itemprop="name headline">
                  <a class="label"> Python <i class="label-arrow"></i>
                  </a>
                  <a href="/9296.html" class="post-title-link" itemprop="url">嫌多(线程/进程)太慢？ 嫌Scrapy太麻烦？没事，异步高调走起！——瓜子二手车</a>
                </h2>
              </header>
              <div class="post-body" itemprop="articleBody">
                <div class="thumb">
                  <img itemprop="contentUrl" class="random">
                </div>
                <div class="excerpt">
                  <p>
                  <p>本节涉及：多线程、多进程、异步的相关概念，希望对你学有所获，学有所成。</p>
                  <hr>
                  <h2 id="基本概念了解："><a href="#基本概念了解：" class="headerlink" title="基本概念了解："></a>基本概念了解：</h2>
                  <hr>
                  <h3 id="并发与并行：-偏向于多线-进程方面的原理"><a href="#并发与并行：-偏向于多线-进程方面的原理" class="headerlink" title="并发与并行：(偏向于多线/进程方面的原理)"></a>并发与并行：(偏向于多线/进程方面的原理)</h3>
                  <ul>
                    <li>并发： 指在同一时刻只能有一条指令执行，但多个进程指令被快速的轮换执行，使得在宏观上具有多个进程同时执行的效果，但在微观上并不是同时执行的，只是把时间分成若干段，使多个进程快速交替的执行</li>
                    <li>并行： 指在同一时刻，有多条指令在多个处理器上同时执行。所以无论从微观还是从宏观来看，二者都是一起执行的</li>
                  </ul>
                  <h3 id="阻塞与非阻塞：（偏向于协程-异步的原理）"><a href="#阻塞与非阻塞：（偏向于协程-异步的原理）" class="headerlink" title="阻塞与非阻塞：（偏向于协程/异步的原理）"></a>阻塞与非阻塞：（偏向于协程/异步的原理）</h3>
                  <hr>
                  <ul>
                    <li>阻塞：阻塞状态指程序未得到所需计算资源时被挂起的状态。程序在等待某个操作完成期间，自身无法继续处理其他的事情，则称该程序在该操作上是阻塞的。</li>
                    <li>
                      <p>非阻塞：程序在等待某操作过程中，自身不被阻塞，可以继续处理其他的事情，则称该程序在该操作上是非阻塞的</p>
                      <hr>
                    </li>
                  </ul>
                  <h3 id="同步与异步："><a href="#同步与异步：" class="headerlink" title="同步与异步："></a>同步与异步：</h3>
                  <ul>
                    <li>同步：不同程序单元为了完成某个任务，在执行过程中需靠某种通信方式以协调一致，我们称这些程序单元是同步执行的。</li>
                    <li>
                      <p>异步：为完成某个任务，不同程序单元之间过程中无需通信协调，也能完成任务的方式，不相关的程序单元之间可以是异步的。</p>
                      <hr>
                    </li>
                  </ul>
                  <h3 id="说了这么多，咱们列举一些他们相关的特点吧："><a href="#说了这么多，咱们列举一些他们相关的特点吧：" class="headerlink" title="说了这么多，咱们列举一些他们相关的特点吧："></a>说了这么多，咱们列举一些他们相关的特点吧：</h3>
                  <ul>
                    <li><strong>多线程（英语：multithreading）</strong>：指从软件或者硬件上实现多个线程并发执行的技术。具有多线程能力的计算机因有硬件支持而能够在同一时间执行多于一个线程，进而提升整体处理性能。具有这种能力的系统包括对称多处理机、多核心处理器以及芯片级多处理（Chip-level multithreading）或同时多线程（Simultaneous multithreading）处理器。在一个程序中，这些独立运行的程序片段叫作“线程”（Thread），利用它编程的概念就叫作“多线程处理（Multithreading）”</li>
                    <li><strong>多进程(Multiprocessing):</strong>每个正在系统上运行的程序都是一个进程。每个进程包含一到多个线程。进程也可能是整个程序或者是部分程序的动态执行。线程是一组指令的集合，或者是程序的特殊段，它可以在程序里独立执行。也可以把它理解为代码运行的上下文。所以线程基本上是轻量级的进程，它负责在单个程序里执行多任务。通常由操作系统负责多个线程的调度和执行。线程是程序中一个单一的顺序控制流程.在单个程序中同时运行多个线程完成不同的工作,称为多线程.</li>
                    <li><strong>二者的区别：</strong>线程和进程的区别在于,子进程和父进程有不同的代码和数据空间,而多个线程则共享数据空间,每个线程有自己的执行堆栈和程序计数器为其执行上下文.多线程主要是为了节约CPU时间,发挥利用,根据具体<a href="https://baike.baidu.com/item/情况" target="_blank" rel="noopener">情况</a>而定. 线程的运行中需要使用计算机的<a href="https://baike.baidu.com/item/内存" target="_blank" rel="noopener">内存</a>资源和CPU。</li>
                    <li>
                      <p><strong>协程(Coroutine):</strong>又称微线程、纤程，协程是一种用户态的轻量级线程。 协程看上去也是子程序，但执行过程中，在子程序内部可中断，然后转而执行别的子程序，在适当的时候再返回来接着执行。</p>
                      <hr>
                      <p>基本的原理都已经了解了 ，那咱们不整一下，咋行？光说不练假把式，走起！！！ 本节源码：<a href="[https://github.com/Mr2753/PythonScrape/tree/master/GuaZI_Car](https://github.com/Mr2753/PythonScrape/tree/master/GuaZI_Car">仓库地址</a> ) 首先先说一下基本的思路：</p>
                      <ul>
                        <li>确定URL</li>
                        <li>发起请求，得到响应</li>
                        <li>解析响应，提取数据、</li>
                        <li>保存数据</li>
                      </ul>
                      <h3 id="确定URL："><a href="#确定URL：" class="headerlink" title="确定URL："></a>确定URL：</h3>
                      <p><a href="https://www.guazi.com/cs/buy/o2/#bread" target="_blank" rel="noopener">本次请求的URL</a>(先放地址了！) <a href="https://www.guazi.com/cs/buy/o2/#bread" target="_blank" rel="noopener">https://www.guazi.com/cs/buy/o2/#bread</a> <img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/1-2.png" alt=""></p>
                    </li>
                    <li><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/2-1.png" alt=""></li>
                    <li><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/3-1.png" alt=""></li>
                  </ul>
                  <p>根据以上可知，URL：<a href="https://www.guazi.com/{cs}/buy/o{page}/#bread" target="_blank" rel="noopener">https://www.guazi.com/{cs}/buy/o{page}/#bread</a> ，更具改变cs改变城市，一线城市为前拼音两个字母(例如：长沙/cs 、湘潭/xiangtan)，第一页为o1,第二个为o2。以此类推 发送请求：</p>
                  <figure class="highlight python">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="keyword">async</span> <span class="function"><span class="keyword">def</span> <span class="title">scrape</span><span class="params">(self, url)</span>:</span></span><br><span class="line">       <span class="keyword">async</span> <span class="keyword">with</span> self.semaphore:</span><br><span class="line">           <span class="keyword">async</span> <span class="keyword">with</span> aiohttp.ClientSession(headers=self.header).get(url) <span class="keyword">as</span> response:</span><br><span class="line">               <span class="keyword">await</span> asyncio.sleep(<span class="number">1</span>)</span><br><span class="line">               <span class="keyword">return</span> <span class="keyword">await</span> response.text()</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>注意：再次加入请求头，本网站对Cookies有严格的检测。且并不能挂IP代理访问 解析响应：</p>
                  <figure class="highlight python">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="keyword">async</span> <span class="function"><span class="keyword">def</span> <span class="title">parse</span><span class="params">(self, html)</span>:</span></span><br><span class="line">       <span class="keyword">with</span> open(<span class="string">'car.csv'</span>, <span class="string">'a+'</span>, encoding=<span class="string">'utf-8'</span>) <span class="keyword">as</span> f:</span><br><span class="line">           doc = pq(html)</span><br><span class="line">           <span class="keyword">for</span> message <span class="keyword">in</span> doc(<span class="string">'body &gt; div.list-wrap.js-post &gt; ul &gt; li &gt; a'</span>).items():</span><br><span class="line">               <span class="comment"># 汽车简介</span></span><br><span class="line">               car_name = message(<span class="string">'h2.t'</span>).text()</span><br><span class="line">               <span class="comment"># 汽车详情(年限、里程、服务)</span></span><br><span class="line">               car_info = message(<span class="string">'div.t-i'</span>).text()</span><br><span class="line">               year = car_info[:<span class="number">5</span>]</span><br><span class="line">               mileage = car_info[<span class="number">6</span>:<span class="number">-5</span>]</span><br><span class="line">               service = car_info[<span class="number">13</span>:].replace(<span class="string">'|'</span>, <span class="string">''</span>)</span><br><span class="line">               <span class="comment"># 价格</span></span><br><span class="line">               <span class="keyword">try</span>:</span><br><span class="line">                   price = message(<span class="string">'div.t-price &gt; p'</span>).text()</span><br><span class="line">               <span class="keyword">except</span> AttributeError:</span><br><span class="line">                   price = message(<span class="string">'em.line-through'</span>).text()</span><br><span class="line">               car_pic = message(<span class="string">'img'</span>).attr(<span class="string">'src'</span>)</span><br><span class="line">               data = <span class="string">f'<span class="subst">&#123;car_name&#125;</span>, <span class="subst">&#123;year&#125;</span>,<span class="subst">&#123;mileage&#125;</span>, <span class="subst">&#123;service&#125;</span>, <span class="subst">&#123;price&#125;</span>n'</span></span><br><span class="line">               logging.info(data)</span><br><span class="line">               f.write(data)</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>我这里是直接一步到位了，解析响应，以及保存数据。 运行之后即可看到类似于这样的东东 <img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/4-1.png" alt=""></p>
                  <hr>
                  <p>如有疑问，咱们评论区见</p>
                  </p>
                </div>
              </div>
              <div class="post-meta">
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-user"></i>
                  </span>
                  <span class="post-meta-item-text">作者</span>
                  <span><a href="/authors/Payne" class="author" itemprop="url" rel="index">Payne</a></span>
                </span>
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-calendar"></i>
                  </span>
                  <span class="post-meta-item-text">发表于</span>
                  <time title="创建时间：2020-05-08 00:04:50" itemprop="dateCreated datePublished" datetime="2020-05-08T00:04:50+08:00">2020-05-08</time>
                </span>
                <span id="/9296.html" class="post-meta-item leancloud_visitors" data-flag-title="嫌多(线程/进程)太慢？ 嫌Scrapy太麻烦？没事，异步高调走起！——瓜子二手车" title="阅读次数">
                  <span class="post-meta-item-icon">
                    <i class="fa fa-eye"></i>
                  </span>
                  <span class="post-meta-item-text">阅读次数：</span>
                  <span class="leancloud-visitors-count"></span>
                </span>
                <span class="post-meta-item" title="本文字数">
                  <span class="post-meta-item-icon">
                    <i class="far fa-file-word"></i>
                  </span>
                  <span class="post-meta-item-text">本文字数：</span>
                  <span>2.3k</span>
                </span>
                <span class="post-meta-item" title="阅读时长">
                  <span class="post-meta-item-icon">
                    <i class="far fa-clock"></i>
                  </span>
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                  <span>2 分钟</span>
                </span>
              </div>
            </article>
            <article itemscope itemtype="http://schema.org/Article" class="post-block index" lang="zh-CN">
              <link itemprop="mainEntityOfPage" href="https://cuiqingcai.com/9270.html">
              <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
                <meta itemprop="image" content="/images/avatar.png">
                <meta itemprop="name" content="崔庆才">
                <meta itemprop="description" content="崔庆才的个人站点，记录生活的瞬间，分享学习的心得。">
              </span>
              <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
                <meta itemprop="name" content="静觅">
              </span>
              <header class="post-header">
                <h2 class="post-title" itemprop="name headline">
                  <a class="label"> JavaScript <i class="label-arrow"></i>
                  </a>
                  <a href="/9270.html" class="post-title-link" itemprop="url">JS解密入门——有道翻译</a>
                </h2>
              </header>
              <div class="post-body" itemprop="articleBody">
                <div class="thumb">
                  <img itemprop="contentUrl" class="random">
                </div>
                <div class="excerpt">
                  <p>
                  <h1 id="JS解密入门——有道翻译"><a href="#JS解密入门——有道翻译" class="headerlink" title="JS解密入门——有道翻译"></a>JS解密入门——有道翻译</h1>
                  <p>此篇文章省略了很多基础的，例如json格式数据的提取啊。试试手，练练感觉。似乎也没啥用。</p>
                  <h3 id="一-了解加密与解密-："><a href="#一-了解加密与解密-：" class="headerlink" title="一 了解加密与解密 ："></a>一 了解加密与解密 ：</h3>
                  <h4 id="什么是加密，什么是解密？"><a href="#什么是加密，什么是解密？" class="headerlink" title="什么是加密，什么是解密？"></a>什么是加密，什么是解密？</h4>
                  <ul>
                    <li>加密：数据加密的基本过程，将原为<strong>明文</strong>的文件或数据经过某种算法进行一次或多次处理。得到的结果常称之为<strong>密文</strong>的东东。</li>
                    <li>解密：加密的逆过程，找到加密相同的方式，对其逆向处理，得到原本文件或数据的过程</li>
                  </ul>
                  <h4 id="常用的加密方式："><a href="#常用的加密方式：" class="headerlink" title="常用的加密方式："></a>常用的加密方式：</h4>
                  <p>加密算法分 <strong>对称加密</strong> 和 <strong>非对称加密</strong> 其中对称加密算法的加密与解密 <strong>密钥相同</strong>，非对称加密算法的加密密钥与解密 <strong>密钥不同</strong>，此外，还有一类 <strong>不需要密钥</strong> 的 <strong>散列算法</strong>。</p>
                  <h4 id="本节所涉及的方式：MD5"><a href="#本节所涉及的方式：MD5" class="headerlink" title="本节所涉及的方式：MD5"></a>本节所涉及的方式：MD5</h4>
                  <p><code>MD5</code> 用的是 <strong>哈希函数</strong>，它的典型应用是对一段信息产生 <strong>信息摘要</strong>，以 <strong>防止被篡改</strong>。严格来说，<code>MD5</code> 不是一种 <strong>加密算法</strong> 而是 <strong>摘要算法</strong>。无论是多长的输入，<code>MD5</code> 都会输出长度为 <code>128bits</code> 的一个串 (通常用 <code>16</code> <strong>进制</strong> 表示为 <code>32</code> 个字符)。 <a href="[https://blog.csdn.net/baidu_22254181/article/details/82594072](https://blog.csdn.net/baidu_22254181/article/details/82594072">更多相关详情请点击此处</a> )</p>
                  <h3 id="二-造！点击进入本节源码"><a href="#二-造！点击进入本节源码" class="headerlink" title="二 造！点击进入本节源码"></a>二 造！点击进入<a href="https://github.com/Mr2753/PythonScrape/tree/master/%E6%9C%89%E9%81%93%E7%BF%BB%E8%AF%91" target="_blank" rel="noopener">本节源码</a></h3>
                  <h3 id="这段内容图会比较多-文字叙述会比较少"><a href="#这段内容图会比较多-文字叙述会比较少" class="headerlink" title="这段内容图会比较多,文字叙述会比较少."></a>这段内容图会比较多,文字叙述会比较少.</h3>
                  <h4 id="确定URL："><a href="#确定URL：" class="headerlink" title="确定URL："></a>确定URL：</h4>
                  <p>Basic URL ： <a href="http://fanyi.youdao.com/" target="_blank" rel="noopener">http://fanyi.youdao.com/</a> 结论缘由,在不刷新全局页面的情况下,在输入框中输入,翻译动态刷新.可知此链接为Ajax. <img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/1.png" alt=""> 经过一系列测试发现，其实际需操作的URL为 <a href="http://fanyi.youdao.com/translate_o?smartresult=dict&amp;smartresult=rule" target="_blank" rel="noopener">http://fanyi.youdao.com/translate_o?smartresult=dict&amp;smartresult=rule</a> 在开发者工具中具体观察以下. <img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/2.png" alt=""> 基本网站的分析就分析完毕了 注意此处为POST请求！！！</p>
                  <h4 id="观察加密"><a href="#观察加密" class="headerlink" title="观察加密"></a>观察加密</h4>
                  <p>仔细观察红色方框中，重点观察随着时间改变而改变的参数（图中红色箭头所指之处）<img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/3.png" alt=""></p>
                  <h4 id="分析加密："><a href="#分析加密：" class="headerlink" title="分析加密："></a>分析加密：</h4>
                  <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/微信图片_20200503232253.png" alt=""> 仔细经过上述步骤即可进入本次加密的源码详情页 <img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/4.png" alt=""> <img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/微信图片_20200503232551.png" alt="">搜索sign参数,得知本页面有15个sign,筛选排查过后可得知以下位置为sign等参数,赋值加密过程 为什么会大概确定是此处呢? 理由一:var 声明赋值 理由二:md5() 为什么深信此处呢?</p>
                  <h4 id="断点一打-debug一下-啥都出来了"><a href="#断点一打-debug一下-啥都出来了" class="headerlink" title="断点一打,debug一下,啥都出来了."></a>断点一打,debug一下,啥都出来了.<img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/5.png" alt=""></h4>
                  <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/05/微信图片_20200504150029.png" alt=""> 根据其语法可知,Javascript</p>
                  <ul>
                    <li>e 为输入所翻译的内容</li>
                    <li>ts 为七位整数的时间戳</li>
                    <li>salt 为时间戳后加上一位,大于0小于9的数字</li>
                    <li>bv 为User-Agent的值经过<strong>md5加密</strong>的 密文</li>
                    <li>sign 为<strong>(“fanyideskweb” + e + salt + “Nw(nmmbP%A-r6U3EUn]Aj”)</strong>经过md5加密的 密文</li>
                  </ul>
                  <p>到这里就基本完成了,那接下来就开始码码吧.</p>
                  <h2 id="码"><a href="#码" class="headerlink" title="码!!!"></a>码!!!</h2>
                  <p>看到这里，转而看一下源码。对着上面的注释，仔细看看，相信你一定会有所收获的。</p>
                  <h4 id="拓展："><a href="#拓展：" class="headerlink" title="拓展："></a>拓展：</h4>
                  <p>可以将此源码打包，并建立用户界面</p>
                  <h3 id="其实这篇完全就是用来找感觉的-真正的JS难度系数成几何倍增长，所以．．．"><a href="#其实这篇完全就是用来找感觉的-真正的JS难度系数成几何倍增长，所以．．．" class="headerlink" title="其实这篇完全就是用来找感觉的,真正的JS难度系数成几何倍增长，所以．．．"></a>其实这篇完全就是用来找感觉的,真正的JS难度系数成几何倍增长，所以．．．</h3>
                  <p>加油吧，欧里给～ 如有疑问，那么评论区见</p>
                  </p>
                </div>
              </div>
              <div class="post-meta">
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-user"></i>
                  </span>
                  <span class="post-meta-item-text">作者</span>
                  <span><a href="/authors/Payne" class="author" itemprop="url" rel="index">Payne</a></span>
                </span>
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-calendar"></i>
                  </span>
                  <span class="post-meta-item-text">发表于</span>
                  <time title="创建时间：2020-05-04 14:56:26" itemprop="dateCreated datePublished" datetime="2020-05-04T14:56:26+08:00">2020-05-04</time>
                </span>
                <span id="/9270.html" class="post-meta-item leancloud_visitors" data-flag-title="JS解密入门——有道翻译" title="阅读次数">
                  <span class="post-meta-item-icon">
                    <i class="fa fa-eye"></i>
                  </span>
                  <span class="post-meta-item-text">阅读次数：</span>
                  <span class="leancloud-visitors-count"></span>
                </span>
                <span class="post-meta-item" title="本文字数">
                  <span class="post-meta-item-icon">
                    <i class="far fa-file-word"></i>
                  </span>
                  <span class="post-meta-item-text">本文字数：</span>
                  <span>1.1k</span>
                </span>
                <span class="post-meta-item" title="阅读时长">
                  <span class="post-meta-item-icon">
                    <i class="far fa-clock"></i>
                  </span>
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                  <span>1 分钟</span>
                </span>
              </div>
            </article>
            <article itemscope itemtype="http://schema.org/Article" class="post-block index" lang="zh-CN">
              <link itemprop="mainEntityOfPage" href="https://cuiqingcai.com/9212.html">
              <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
                <meta itemprop="image" content="/images/avatar.png">
                <meta itemprop="name" content="崔庆才">
                <meta itemprop="description" content="崔庆才的个人站点，记录生活的瞬间，分享学习的心得。">
              </span>
              <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
                <meta itemprop="name" content="静觅">
              </span>
              <header class="post-header">
                <h2 class="post-title" itemprop="name headline">
                  <a class="label"> Python <i class="label-arrow"></i>
                  </a>
                  <a href="/9212.html" class="post-title-link" itemprop="url">虚拟环境搭建</a>
                </h2>
              </header>
              <div class="post-body" itemprop="articleBody">
                <div class="thumb">
                  <img itemprop="contentUrl" class="random">
                </div>
                <div class="excerpt">
                  <p>
                  <h1 id="Python虚拟环境搭建"><a href="#Python虚拟环境搭建" class="headerlink" title="Python虚拟环境搭建"></a>Python虚拟环境搭建</h1>
                  <h2 id="前言："><a href="#前言：" class="headerlink" title="前言："></a>前言：</h2>
                  <h3 id="什么是虚拟环境？"><a href="#什么是虚拟环境？" class="headerlink" title="什么是虚拟环境？"></a>什么是虚拟环境？</h3>
                  <ul>
                    <li>由<a href="[https://baike.baidu.com/item/%E8%99%9A%E6%8B%9F%E7%8E%AF%E5%A2%83/6529153?fr=aladdin](https://baike.baidu.com/item/%E8%99%9A%E6%8B%9F%E7%8E%AF%E5%A2%83/6529153?fr=aladdin">百度百科</a> )得知： 以专利的实时动态程序行为修饰与模拟算法，直接利用本机的 OS，模拟出自带与本机相容 OS 的虚拟机（Vista下可模拟Vista、XP，Windows 7下则可模拟Windows 7、Vista、XP），也称为“虚拟环境”</li>
                    <li>功能： 每一个环境都相当于一个新的Python环境。你可以在这个新的环境里安装库，运行代码等</li>
                  </ul>
                  <h3 id="为什么需要使用虚拟环境？"><a href="#为什么需要使用虚拟环境？" class="headerlink" title="为什么需要使用虚拟环境？"></a>为什么需要使用虚拟环境？</h3>
                  <ul>
                    <li>众所周知Python的强大在于其兼容性，其强大的社区等。同时缺也由些许库并不兼容</li>
                    <li>真实环境与虚拟环境二者相对关联，并非绝对关联，可以在环境里面随便造。</li>
                  </ul>
                  <h3 id="什么时候需要使用虚拟环境？"><a href="#什么时候需要使用虚拟环境？" class="headerlink" title="什么时候需要使用虚拟环境？"></a>什么时候需要使用虚拟环境？</h3>
                  <h5 id="例如："><a href="#例如：" class="headerlink" title="例如："></a>例如：</h5>
                  <ul>
                    <li>需要探究不同版本的Django等相互之间的异同</li>
                    <li>各模块产生冲突时<ul>
                        <li>不知为何，我在python环境中后续安装scrapy，由于库的不兼容会报出安装其中的异步框架（Twisted）的错误</li>
                      </ul>
                    </li>
                  </ul>
                  <h5 id="虚拟环境原理："><a href="#虚拟环境原理：" class="headerlink" title="虚拟环境原理："></a>虚拟环境原理：</h5>
                  <figure class="highlight plain">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">各虚拟环境相当于一个抽屉，在这个抽屉中安装的任何包都不会影响其他抽屉，可以指定项目的虚拟环境来配合使用我们的项目</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <hr>
                  <h2 id="一、搭建Python-virtualenv"><a href="#一、搭建Python-virtualenv" class="headerlink" title="一、搭建Python virtualenv"></a>一、搭建Python virtualenv</h2>
                  <h3 id="搭建前准备"><a href="#搭建前准备" class="headerlink" title="搭建前准备:"></a>搭建前准备:</h3>
                  <ul>
                    <li>请确保Python已安装至使用的电脑中(最好已经配置好了环境变量）</li>
                    <li>请确保pip命令能够正常使用，且能正常安装库</li>
                  </ul>
                  <h3 id="如何搭建？"><a href="#如何搭建？" class="headerlink" title="如何搭建？"></a>如何搭建？</h3>
                  <p>使用Virtualenv库</p>
                  <ul>
                    <li>安装Virtualenv：<ul>
                        <li>
                          <pre><code>pip install Virtualenv
<figure class="highlight stata"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br></pre>
                          </td>
                          <td class="code">
                            <pre><span class="line">        </span><br><span class="line"><span class="comment">*   造起来吧</span></span><br><span class="line">    </span><br><span class="line"><span class="comment">    *   创建虚拟环境：</span></span><br><span class="line"><span class="comment">    *</span></span><br></pre>
                          </td>
                          </tr>
                          </table>
                          </figure> # 后面参数为Virtual environment name 虚拟环境名（可自行定义，我这里以Test为例） Virtualenv Test（Virtual environment name） <figure class="highlight markdown">
                            <table>
                              <tr>
                                <td class="gutter">
                                  <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br><span class="line">21</span><br><span class="line">22</span><br><span class="line">23</span><br><span class="line">24</span><br><span class="line">25</span><br><span class="line">26</span><br><span class="line">27</span><br><span class="line">28</span><br><span class="line">29</span><br><span class="line">30</span><br><span class="line">31</span><br><span class="line">32</span><br><span class="line">33</span><br><span class="line">34</span><br><span class="line">35</span><br><span class="line">36</span><br><span class="line">37</span><br></pre>
                                </td>
                                <td class="code">
                                  <pre><span class="line"><span class="code">        </span></span><br><span class="line"><span class="code">    </span></span><br><span class="line"><span class="code">    ![](DataBoke虚拟环境搭建微信图片_20200422033005.png)          ![](https://qiniu.cuiqingcai.com/wp-content/uploads/2020/04/微信图片_20200422033005.png)</span></span><br><span class="line"><span class="bullet">    *   </span>命令行解析：首先创建了一个名为Virtual environment 的文件夹并且进入(至于为何创建，是因为便于多虚拟环境包管理，这个也是一个 <span class="strong">**virtualenv**</span> 的一个缺陷。自己思考后想到较为妥善的解决方法，稍后会阐述明白)</span><br><span class="line"><span class="bullet">        *   </span>1、 使用Virtualenv Test命令创建了一个名为Test的虚拟环境包</span><br><span class="line"><span class="bullet">        *   </span>2、 进入Test虚拟文件夹中的Scripts</span><br><span class="line"><span class="bullet">        *   </span>3、此时已经进入且使用虚拟环境，后又运行了 deactivate.bat 命令退出了虚拟环境</span><br><span class="line"><span class="bullet">        *   </span>4、 此时为系统环境（或者说没有使用任何虚拟环境）区分是否为虚拟环境以路径开头是否有“（Virtual environment name）”</span><br><span class="line"><span class="bullet">    *   </span>删除虚拟环境包</span><br><span class="line"><span class="bullet">        *   </span>直接删除所对应的文件夹即可</span><br><span class="line"><span class="bullet">    *   </span>注意点：</span><br><span class="line"><span class="bullet">        *   </span>需进入Scripts目录才可运行</span><br><span class="line"><span class="bullet">        *   </span>需添加名为. bat后缀才可运行</span><br><span class="line"><span class="bullet">    *   </span>阐述一下Virtualenv缺陷(不是这个库，而是这个方法！！！)，</span><br><span class="line"><span class="bullet">    *   </span>Virtualenv这个方法是直接在当前目录下创建一个虚拟环境，如果没有单独建立类似于名为Virtual environment 的文件夹难于管理虚拟环境包，一个两个还好，如果多了的话是十分头疼的。个人建议，如果使用此方法，</span><br><span class="line"><span class="bullet">        *   </span>Virtualenv这个方法需要进入虚拟环境包中的Scripts文件夹才可运行相关的命令，如进入及退出虚拟环境的命令。(当然也可用创建环境变量的方法来解决此缺陷，但如果是单文件还好，那如果是多个虚拟环境包，反倒给自己填麻烦)</span><br><span class="line"></span><br><span class="line"><span class="section">## 二、 搭建Python virtualenvwrapper-win</span></span><br><span class="line"></span><br><span class="line"><span class="section">### 引言：</span></span><br><span class="line"></span><br><span class="line">​ 经过上述的缺陷分析似乎并没有那么方便，就算创建了相关文件夹来放虚拟环境包，但似乎管理起来，却并没有那么简单。（一两个的还好，但是到了三四个，上十个，百个绝对是一件伤脑筋的事情），那么是否有方法能有弥补相关的缺陷呢？答案肯定是有的。Ta 就是 <span class="strong">**virtualenvwrapper-win**</span></span><br><span class="line"></span><br><span class="line">---</span><br><span class="line"></span><br><span class="line"><span class="section">## virtualenvwrapper-win:</span></span><br><span class="line"></span><br><span class="line"><span class="bullet">*   </span>介绍： Virtaulenvwrapper是基于virtualenv的扩展包</span><br><span class="line"><span class="bullet">*   </span>功能： 更方便管理虚拟环境</span><br><span class="line"><span class="bullet">*   </span>实现： 它可以将所有虚拟环境整合在一个目录下 ，统一管理（新增，删除，修改，复制，检查），也能够快速在各个虚拟环境间自由切换。</span><br><span class="line"><span class="code">    </span></span><br><span class="line"><span class="code">    ###### 提前准备：</span></span><br><span class="line"><span class="code">    </span></span><br><span class="line"><span class="bullet">    *   </span>请确保Python已安装至使用的电脑中(最好已经配置好了环境变量）</span><br><span class="line"><span class="bullet">    *   </span>请确保pip命令能够正常使用，且能正常安装库</span><br><span class="line"><span class="code">    </span></span><br><span class="line"><span class="code">    ###### 安装：</span></span><br></pre>
                                </td>
                              </tr>
                            </table>
                          </figure> pip install virtualenvwrapper-win </code></pre>
                        </li>
                      </ul>
                    </li>
                  </ul>
                  <h2 id="使用："><a href="#使用：" class="headerlink" title="使用："></a>使用：</h2>
                  <ul>
                    <li>
                      <p>为了便于使用个人建议，配置系统环境变量，配置如下：​ 找到我的电脑（此电脑），右击属性，点击高级系统设置，后点击环境变量在系统环境变量中添加以下信息，后确认退出​ <img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/04/Annotation-2020-04-22-022624-320x294.png" alt=""></p>
                      <h3 id="virtualenvwrapper-win常用命令如下："><a href="#virtualenvwrapper-win常用命令如下：" class="headerlink" title="virtualenvwrapper-win常用命令如下："></a>virtualenvwrapper-win常用命令如下：</h3>
                      <ul>
                        <li>创建虚拟环境： mkvirtualenv (Virtual environment name)</li>
                        <li>进入虚拟环境：workon (Virtual environment name)</li>
                        <li>退出当前虚拟环境： deactivate</li>
                        <li>删除虚拟环境：rmvirtualenv (Virtual environment name)</li>
                        <li>
                          <p>列出所有虚拟环境列表：workon</p>
                          <h5 id="演示如下（此时的Virtual-environment-name-Test）箭头代表输入的步骤："><a href="#演示如下（此时的Virtual-environment-name-Test）箭头代表输入的步骤：" class="headerlink" title="演示如下（此时的Virtual environment name = Test）箭头代表输入的步骤："></a>演示如下（此时的Virtual environment name = Test）箭头代表输入的步骤：<img src="DataBoke虚拟环境搭建微信图片_20200422044041.png" alt=""></h5>
                        </li>
                      </ul>
                    </li>
                    <li>
                      <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/04/微信图片_20200422044041.png" alt=""></p>
                      <ol>
                        <li>使用mkvirtualenv Test 命令创建一个名为Test的虚拟环境包（并且创建完成后自动进入此虚拟环境）</li>
                        <li>使用 deactivate 命令退出当前虚拟环境</li>
                        <li>使用workon 命令列出虚拟环境表</li>
                        <li>使用workon Test 命令 进入名为Test的虚拟环境列表</li>
                        <li>使用 rmvirtualenv Test命令删除了名为Test的虚拟环境列表</li>
                        <li>
                          <p>再次使用使用workon Test 命令 进入名为Test的虚拟环境列表</p>
                          <hr>
                          <h2 id="Mac-Linux同理，就不再这里一一赘述了"><a href="#Mac-Linux同理，就不再这里一一赘述了" class="headerlink" title="Mac \Linux同理，就不再这里一一赘述了"></a>Mac \Linux同理，就不再这里一一赘述了</h2>
                        </li>
                      </ol>
                    </li>
                  </ul>
                  <h2 id="三、虚拟环境的使用："><a href="#三、虚拟环境的使用：" class="headerlink" title="三、虚拟环境的使用："></a>三、虚拟环境的使用：</h2>
                  <ol>
                    <li>
                      <h3 id="命令行下，运行虚拟环境-直接Python-（Reptile-Engineering-py）-即可"><a href="#命令行下，运行虚拟环境-直接Python-（Reptile-Engineering-py）-即可" class="headerlink" title="命令行下，运行虚拟环境 直接Python （Reptile Engineering.py） 即可"></a>命令行下，运行虚拟环境 直接Python （Reptile Engineering.py） 即可</h3>
                      <ul>
                        <li>不使用虚拟环境：<ul>
                            <li><img src="DataBoke虚拟环境搭建微信图片_20200422045618.png" alt=""><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/04/微信图片_20200422045618.png" alt=""></li>
                          </ul>
                        </li>
                        <li>使用虚拟环境(因为是一个新的环境，所有的包、库都未安装所以报错&lt;没有requests模块错误&gt;：<ul>
                            <li><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/04/微信图片_20200422045926.png" alt=""></li>
                          </ul>
                        </li>
                        <li>不使用虚拟不使用虚拟环境：直接运行即可。<ul>
                            <li><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/04/微信图片_20200422050725.png" alt=""></li>
                          </ul>
                        </li>
                      </ul>
                    </li>
                    <li>
                      <h3 id="Pycharm：使用虚拟环境-以下步骤将虚拟环境Python解释器加载到Pycharm中来，步骤如下："><a href="#Pycharm：使用虚拟环境-以下步骤将虚拟环境Python解释器加载到Pycharm中来，步骤如下：" class="headerlink" title="Pycharm：使用虚拟环境:以下步骤将虚拟环境Python解释器加载到Pycharm中来，步骤如下："></a>Pycharm：使用虚拟环境:以下步骤将虚拟环境Python解释器加载到Pycharm中来，步骤如下：</h3>
                    </li>
                  </ol>
                  <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/04/1.png" alt=""><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/04/2.png" alt=""></p>
                  <ol>
                    <li><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/04/3.png" alt=""><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/04/4.png" alt=""></li>
                  </ol>
                  <h3 id="写在最后："><a href="#写在最后：" class="headerlink" title="写在最后："></a>写在最后：</h3>
                  <p>首先和大家说句Sorry啊，此篇文章中有许多内容来自于百度搜索所得，后根据自己理解改进及编写此篇文章。感谢查看与支持，不喜勿喷。谢谢。 如果有疑问欢迎在评论区留言，我看到后会在第一时间回复，咱们评论区见，加油，欧里给~ 祝学习进步，升官发财，感谢查看与支持，谢谢。 我叫Payen，某大学在校大二学生，我有Get到你么？</p>
                  <h2 id="声明："><a href="#声明：" class="headerlink" title="声明："></a>声明：</h2>
                  <p>​ 本人Payen为本文原著，转载请注明出处，谢谢 ​ ——Payne</p>
                  </p>
                </div>
              </div>
              <div class="post-meta">
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-user"></i>
                  </span>
                  <span class="post-meta-item-text">作者</span>
                  <span><a href="/authors/Payne" class="author" itemprop="url" rel="index">Payne</a></span>
                </span>
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-calendar"></i>
                  </span>
                  <span class="post-meta-item-text">发表于</span>
                  <time title="创建时间：2020-04-22 05:27:40" itemprop="dateCreated datePublished" datetime="2020-04-22T05:27:40+08:00">2020-04-22</time>
                </span>
                <span id="/9212.html" class="post-meta-item leancloud_visitors" data-flag-title="虚拟环境搭建" title="阅读次数">
                  <span class="post-meta-item-icon">
                    <i class="fa fa-eye"></i>
                  </span>
                  <span class="post-meta-item-text">阅读次数：</span>
                  <span class="leancloud-visitors-count"></span>
                </span>
                <span class="post-meta-item" title="本文字数">
                  <span class="post-meta-item-icon">
                    <i class="far fa-file-word"></i>
                  </span>
                  <span class="post-meta-item-text">本文字数：</span>
                  <span>2.8k</span>
                </span>
                <span class="post-meta-item" title="阅读时长">
                  <span class="post-meta-item-icon">
                    <i class="far fa-clock"></i>
                  </span>
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                  <span>3 分钟</span>
                </span>
              </div>
            </article>
            <article itemscope itemtype="http://schema.org/Article" class="post-block index" lang="zh-CN">
              <link itemprop="mainEntityOfPage" href="https://cuiqingcai.com/9205.html">
              <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
                <meta itemprop="image" content="/images/avatar.png">
                <meta itemprop="name" content="崔庆才">
                <meta itemprop="description" content="崔庆才的个人站点，记录生活的瞬间，分享学习的心得。">
              </span>
              <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
                <meta itemprop="name" content="静觅">
              </span>
              <header class="post-header">
                <h2 class="post-title" itemprop="name headline">
                  <a class="label"> 技术杂谈 <i class="label-arrow"></i>
                  </a>
                  <a href="/9205.html" class="post-title-link" itemprop="url">如何用 JMeter + Kubernetes + Prometheus + Grafana + Alert Manager 实时监控你的服务器</a>
                </h2>
              </header>
              <div class="post-body" itemprop="articleBody">
                <div class="thumb">
                  <img itemprop="contentUrl" class="random">
                </div>
                <div class="excerpt">
                  <p>
                  <p>最近我在公司负责的业务已经正式投入上线了，既然是线上环境，那么就需要保证其可用性。 我负责的业务其中就包括一个 Web Service，我需要保证 Service 的每个接口都是可用的，如果某个时间流量大了或者服务器挂掉了，那需要第一时间通知到我。 这时候可能我有这些需求：</p>
                  <ol>
                    <li>定时测试和监控服务器每个接口是否是可用的，包括返回的数据、状态码是不是正确的。</li>
                    <li>我可以随时查看到每个接口的响应时间、可用率等信息，最好是有可视化的图表呈现，一目了然。</li>
                    <li>如果接口的错误率超过某一阈值一段时间，及时通知我，包括电话、短信或邮件。</li>
                    <li>需要主动去监测接口的可用性，注意这里是主动监测而不是被动监测，不是等用户用的时候报错才提醒我。比如在没有用户用的时候，我也能及时知道每个接口的可用性。</li>
                  </ol>
                  <blockquote>
                    <p>其实，国内的一些服务商已经提供了这些功能，即主动型服务监控，比如「监控宝」，但我并不想用这些服务，一是需要额外花钱，二是数据上并不安全，三是我需要把我的服务集成到公司内部的监控体系下。</p>
                  </blockquote>
                  <p>有了这些需求，我就结合公司内部现有的一些基础设施先确定一个技术选型，然后实施就好了。 目前公司内部使用的一套监控体系是基于 Kubernetes + Prometheus + Grafana + Alert Manager 的，那么基于我的需求来分析下我怎样利用这一套体系来搭建我想要的监控设施。 解决方案分析：</p>
                  <ol>
                    <li>首先关于第四个需求比较特殊，现有的监控体系其实已经可以做到服务的被动监测，比如某个 Service 的 API 被调用了，那么相应的调用数据都会被汇总到 Prometheus 上面，Prometheus 里面会计算接口调用的可用率，如果一段时间内如果错误率超过一定阈值，那就报警，追错误的时候去查下 log 就好了。但其实这个不能做到主动监测，比如在凌晨三四点，当没有用户使用的时候，如果这时候服务器出现问题了，我也需要第一时间能知道，所以我需要有一个定时的主动监测程序来实时监测我的所有接口是否是可用的。要做到主动监控，那我一定需要一个接口监测程序定时运行并校验每个接口的结果，这里我选用的就是开源的 JMeter，它大多数情况下是被用来做压测的，但绝对能满足接口调用和检测的需求，只要我定时跑 JMeter 来检测就好了。</li>
                    <li>关于第一个需求，我需要监测我的每个接口都是可用的，包括返回的数据也需要是想要的结果。这时候我们可能想到直接跑一些 test case 之类的，但这些其实大多数都是在部署或运行时校验的，如果我要实时跑或者 test case 有 update 了，也不太方便。另外为了写接口测试的时候，如果没有现成的工具，我们可能得写一堆代码，每个接口都写一个，包括 GET 请求的 URL 参数、POST 请求的 Body 信息等等，然后校验接口的返回结果是不是对的，也太麻烦了。所以我们需要找到一个可用的工具来帮助我们快速地完成这些功能。所以，我选择的 JMeter 也提供了可视化界面，我只需要配置一些接口和参数即可，另外它还带有定时器、断言、动态参数、多线程等功能，这样我们也可以做到并发测试、随机等待、动态构造请求参数、返回结果判断等功能了。</li>
                    <li>其次再说第二个和第三个需求，其实用现有的 Prometheus + Grafana 就能解决了，这里最关键的则是我的接口监控结果能发给 Prometheus 才行。既然我选用了 JMeter，那么我怎样把 JMeter 的数据发送给 Prometheus 呢？这里需要借助于 JMeter 的一个插件 jmeter-prometheus-plugin，<a href="https://github.com/johrstrom/jmeter-prometheus-plugin，利用它就能将" target="_blank" rel="noopener">https://github.com/johrstrom/jmeter-prometheus-plugin，利用它就能将</a> JMeter 变成一个 Data Exporter，Prometheus 来抓取就好了。</li>
                  </ol>
                  <p>所以，综上所述，我利用的一套服务监控体系就是 JMeter + Kubernetes + Prometheus + Grafana + Alert Manager，那么就开干吧。 这里先放一张图，看下最终的监控 Grafana 面板吧： <img src="https://qiniu.cuiqingcai.com/2020-04-14-072518.png" alt="image-20200414152517273"> 这里一些接口的名称和 URL 我就打码了，这里我可以在 Grafana 中每时每刻都看到每个接口的可用率、响应（包括平均、最快、最慢）时间、状态码等信息，这些信息就是 JMeter 定时检测得到的结果，监控数据转到 Prometheus 里面然后经过 Grafana 可视化出来，并能通过一些指标来实现报警机制。 感兴趣的话，可以继续往下看哈。 为了达成这些功能，我需要解决如下问题：</p>
                  <ul>
                    <li>如何使用 JMeter 来测试每个接口的使用情况。</li>
                    <li>JMeter 如何和 Prometheus 对接起来，即如何集成 jmeter-prometheus-plugin 到 JMeter。</li>
                    <li>JMeter 怎样去部署，部署到哪里。</li>
                    <li>可视化数据怎样来呈现。</li>
                    <li>错误状态怎样来快速查看。</li>
                    <li>出错通知如何实现，比如打电话、发邮件等等。</li>
                  </ul>
                  <p>下面我们就来一个个总结说一下。</p>
                  <blockquote>
                    <p>由于内容比较多，整个流程我实践下来然后测试通总共花了两天左右的时间，在这里就不完全展开说了，只提关键点了。</p>
                  </blockquote>
                  <h2 id="JMeter-测试"><a href="#JMeter-测试" class="headerlink" title="JMeter 测试"></a>JMeter 测试</h2>
                  <p>第一步那就是用 JMeter 来完成接口的测试了，接口的调用形式肯定都有相应的规范的，比如 GET 请求设置啥参数，POST 请求发送什么数据，我们利用 JMeter 都能方便地配置。 JMeter 是有 GUI 的，我们在编写的时候在 GUI 里面设置就好了，界面样例如下所示： <img src="https://qiniu.cuiqingcai.com/2020-04-14-073257.png" alt="JMeter界面（图源：https://www.jianshu.com/p/0349441da3c4）"> 这里提示几点可能用到的东西：</p>
                  <ul>
                    <li>动态参数，JMeter 里面是支持动态参数设置的，比如循环测试 id 从 1 到 100，或者动态 POST 的数据替换，都是可以做到的，这个可以满足你花样测试接口的需求。</li>
                    <li>定时器，JMeter 里面有很多 Timer，可以设置各种各样的延时操作，比如每 3 分钟测一次，随机等待多少秒测一次都行。</li>
                    <li>断言，测试了接口之后，我们不仅要知道是否是可用的，同时也要判断其结果是不是正确的，如果返回状态码是正确的但是结果不对，那也白搭，所以可以使用断言来检查返回结果。</li>
                  </ul>
                  <p>关于 JMeter 的功能这里就不再展开讲了，反正几乎你想实现的任何测试功能都可以实现，具体的用法可以参考 JMeter 的官方文档：<a href="https://jmeter.apache.org/usermanual/get-started.html" target="_blank" rel="noopener">https://jmeter.apache.org/usermanual/get-started.html</a>。 嗯，写好了之后，可以用 JMeter 在本地进行测试，测试好了时候，可以把 JMeter 的这个 Test Plan 存成一个 jmx 文件，留作后面备用。</p>
                  <h2 id="对接-Prometheus"><a href="#对接-Prometheus" class="headerlink" title="对接 Prometheus"></a>对接 Prometheus</h2>
                  <p>接下来就是如何把数据对接到 Prometheus 里面了。 默认情况下，JMeter 是能导出数据到诸如 InfluxDB 这样的数据库的，借助于它自带的 Listener 即可实现。它并不带导出到 Prometheus 的功能。 这里我们就需要借助于 jmeter-prometheus-plugin 这个插件了，其 GitHub 地址是 <a href="https://github.com/johrstrom/jmeter-prometheus-plugin，具体的用法可以参考其官方说明" target="_blank" rel="noopener">https://github.com/johrstrom/jmeter-prometheus-plugin，具体的用法可以参考其官方说明</a>。 这里提示几点：</p>
                  <ul>
                    <li>jmeter-prometheus-plugin 安装的时候把 jar 文件放到 JMeter 目录下就好了，jar 文件可以直接看这里下载：<a href="https://github.com/johrstrom/jmeter-prometheus-plugin#programatically" target="_blank" rel="noopener">https://github.com/johrstrom/jmeter-prometheus-plugin#programatically</a>。</li>
                    <li>安装好这个插件之后，需要增加一个 Listener，然后配置各种导出字段和参数，可以参考这个 jmx 文件的配置：<a href="https://github.com/johrstrom/jmeter-prometheus-plugin/blob/master/docs/examples/simple_prometheus_example.jmx，可以把这个" target="_blank" rel="noopener">https://github.com/johrstrom/jmeter-prometheus-plugin/blob/master/docs/examples/simple_prometheus_example.jmx，可以把这个</a> jmx 打开，然后把 Listener 拷贝到你的 Test Plan 即可。</li>
                    <li>jmeter-prometheus-plugin 这个插件会把 JMeter 变成一个 Data Exporter，而不是通过 Prometheus Push Gateway 来主动推送监控信息，所以它会在本地启动一个端口，默认是 9270。</li>
                  </ul>
                  <p>Listener 的配置示例如图所示： <img src="https://qiniu.cuiqingcai.com/2020-04-14-074606.png" alt="JMeter Listener"> 这里字段名如 jsr223_rt_as_summary 可以自行修改，比如这里我就统一修改为了 jmeter_test_xxx 这样的字段。 配置完成之后，运行 JMeter 之后，我们就能在 <a href="http://localhost:9270" target="_blank" rel="noopener">http://localhost:9270</a> 上看到 Exporter 的信息，如图所示： <img src="https://qiniu.cuiqingcai.com/2020-04-14-075007.png" alt="image-20200414155005999"> 这里面就包含了 JMeter 的一些接口测试结果，包括成功次数、失败次数、状态码等等，另外还有 JVM、处理器等各种环境信息。 部署之后把对应的 URL 交由 Prometheus 就可以把监控数据收集到 Prometheus 里面了。</p>
                  <h2 id="部署-JMeter"><a href="#部署-JMeter" class="headerlink" title="部署 JMeter"></a>部署 JMeter</h2>
                  <p>完成上述两步，我们就能成功测试 Service 的每个接口并能生成测试结果的 Exporter 了。 那么 JMeter 写好了，怎么来部署呢？可以用 crontab，放某台服务器上，不过这里最理想的方式当然是部署到 Kubernetes 里面了。 这里就需要把 JMeter 打包成一个镜像了，GitHub 找来找去没找到几个合适的，另外也没有把 jmeter-prometheus-plugin 包括进去，那只有自己来了。 我基于 <a href="https://github.com/justb4/docker-jmeter" target="_blank" rel="noopener">https://github.com/justb4/docker-jmeter</a> 进行了二次改写，最后打包了一个镜像，已经开源了，地址为：<a href="https://github.com/Germey/JMeterMonitor，镜像名称为" target="_blank" rel="noopener">https://github.com/Germey/JMeterMonitor，镜像名称为</a> germey/jmeter，这里就不再展开讲细节了，有点复杂。 运行所需要的 docker-compose 文件如下：</p>
                  <figure class="highlight less">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="attribute">version</span>: <span class="string">'3'</span></span><br><span class="line"><span class="attribute">services</span>:</span><br><span class="line">  <span class="attribute">jmeter</span>:</span><br><span class="line">    <span class="attribute">restart</span>: always</span><br><span class="line">    <span class="attribute">image</span>: <span class="string">'germey/jmeter'</span></span><br><span class="line">    <span class="attribute">volumes</span>:</span><br><span class="line">      - ./<span class="attribute">jmx</span>:/app</span><br><span class="line">    <span class="attribute">command</span>:</span><br><span class="line">      - sample.jmx</span><br><span class="line">    <span class="attribute">ports</span>:</span><br><span class="line">      - <span class="string">"80:80"</span></span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>这里我把本地的 jmx 文件夹 mount 到了 Docker 的 app 文件夹，所以这里在运行时需要在项目文件夹下新建 jmx 文件夹，用于存放 jmx 文件，把刚才写好的 jmx 文件放过来就好了。 另外 command 就是 jmx 文件的名称，这里需要修改成你的 jmx 文件。 另外部署到 Kubernetes 的话可以参考这里的 yml 文件：<a href="https://github.com/Germey/JMeterMonitor/tree/master/kubernetes" target="_blank" rel="noopener">https://github.com/Germey/JMeterMonitor/tree/master/kubernetes</a>。</p>
                  <h2 id="Prometheus-收集数据"><a href="#Prometheus-收集数据" class="headerlink" title="Prometheus 收集数据"></a>Prometheus 收集数据</h2>
                  <p>在成功部署 JMeter 之后呢，它肯定会提供一个 Web Service 来暴露 JMeter 的测试数据。 如果部署好了 Prometheus 之后，可以把它放在 Prometheus 的 scrape_configs，比如 Service 的 URL 为 jmeter-monitor.com，可以修改 prometheus.yml：</p>
                  <figure class="highlight routeros">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">global:</span><br><span class="line">  scrape_interval:     15s # By default, scrape targets every 15 seconds.</span><br><span class="line"></span><br><span class="line">  # Attach these labels <span class="keyword">to</span> any time series <span class="keyword">or</span> alerts when communicating with</span><br><span class="line">  # external systems (federation, remote storage, Alertmanager).</span><br><span class="line">  external_labels:</span><br><span class="line">    monitor: <span class="string">'codelab-monitor'</span></span><br><span class="line"></span><br><span class="line"><span class="comment"># A scrape configuration containing exactly one endpoint to scrape:</span></span><br><span class="line"><span class="comment"># Here it's Prometheus itself.</span></span><br><span class="line">scrape_configs:</span><br><span class="line">  # The job name is added as a label `<span class="attribute">job</span>=&lt;job_name&gt;` <span class="keyword">to</span> any timeseries scraped <span class="keyword">from</span> this config.</span><br><span class="line">  - job_name: <span class="string">'jmeter-monitor'</span></span><br><span class="line"></span><br><span class="line">    # Override the global<span class="built_in"> default </span><span class="keyword">and</span> scrape targets <span class="keyword">from</span> this job every 5 seconds.</span><br><span class="line">    scrape_interval: 5s</span><br><span class="line"></span><br><span class="line">    static_configs:</span><br><span class="line">      - targets: [<span class="string">'jmeter-monitor.com'</span>]</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>其具体的配置字段可以参见：<a href="https://prometheus.io/docs/prometheus/latest/configuration/configuration/" target="_blank" rel="noopener">https://prometheus.io/docs/prometheus/latest/configuration/configuration/</a>。 另外呢，这种方式其实并不怎么好，修改 Prometheus 挺麻烦的，推荐使用 Helm + Prometheus-Operator 来安装 Prometheus，然后修改 values.yml 即可修改配置文件了，比如修改 <a href="https://github.com/helm/charts/blob/master/stable/prometheus-operator/values.yaml" target="_blank" rel="noopener">https://github.com/helm/charts/blob/master/stable/prometheus-operator/values.yaml</a> 里面的 additionalScrapeConfigs 即可。</p>
                  <h2 id="Grafana-可视化"><a href="#Grafana-可视化" class="headerlink" title="Grafana 可视化"></a>Grafana 可视化</h2>
                  <p>Prometheus 收集完数据之后，我们可以将其可视化出来了。 比如这里有些字段，jmeter_test_can_fail_success 代表成功请求的次数，jmeter_test_can_fail_total 代表总的测试次数。 那么就可以用一个表达式来计算 Error Rate 了：</p>
                  <figure class="highlight routeros">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">1- jmeter_test_can_fail_success&#123;<span class="attribute">instance</span>=<span class="string">"<span class="variable">$instance</span>"</span>&#125; / jmeter_test_can_fail_total&#123;<span class="attribute">instance</span>=<span class="string">"<span class="variable">$instance</span>"</span>&#125;</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>效果如下： <img src="https://qiniu.cuiqingcai.com/2020-04-14-085848.png" alt="image-20200414165846578"> 这里就能实时可视化展示出来错误率了，更多的一些配置可以自行修改这些表达式进行定制。 最后我配置成的一些监控面板如下所示： <img src="https://qiniu.cuiqingcai.com/2020-04-14-092834.png" alt="image-20200414172832205"> 这样我要是什么时候想看 Service 接口的情况，随时上来看就好了。</p>
                  <h2 id="报警"><a href="#报警" class="headerlink" title="报警"></a>报警</h2>
                  <p>对于报警来说，可以使用两种方式配置，一个是直接使用 Grafana 自带的报警机制，另外是可以通过 Alert Manager，后者功能更加强大，推荐使用后者。 对于 Alert Manager 来说，其监控的规则这里推荐使用 Prometheus-Operator 里面自带的 PrometheusRule 来实现，比如可以定义这么一个 PrometheusRule：</p>
                  <figure class="highlight smali">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">apiVersion: monitoring.coreos.com/v1</span><br><span class="line">kind: PrometheusRule</span><br><span class="line">metadata:</span><br><span class="line">  labels:</span><br><span class="line">    app: monitor</span><br><span class="line">  name: monitor-rules</span><br><span class="line">spec:</span><br><span class="line">  groups:</span><br><span class="line">  - name: monitor</span><br><span class="line">    rules:</span><br><span class="line">    - alert: ServiceErroring</span><br><span class="line">      labels:</span><br><span class="line">        severity: warning</span><br><span class="line">      annotations:</span><br><span class="line">        message: Service 连续5分钟错误率过高。</span><br><span class="line">      expr: |</span><br><span class="line">        avg(1- jmeter_test_can_fail_success&#123;job=<span class="string">"service-monitor"</span>&#125; / jmeter_test_can_fail_total&#123;job=<span class="string">"service-monitor"</span>&#125;) &gt; 0</span><br><span class="line">      for: 5m</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>这样配置好一个 PrometheusRule 之后，Prometheus 会自动应用这个 Rule 然后监控。 报警方式的话可以通过配置 Alert Manger 的 Receiver 来实现，包括打电话、邮件、短信等等，配置规则可以见：<a href="https://prometheus.io/docs/alerting/configuration/" target="_blank" rel="noopener">https://prometheus.io/docs/alerting/configuration/</a>。 目前我是利用了组内已经提供的报警机制，组内已经对接好了电话、短信、邮件报警，并可以把每个人的信息进行管理和分组，然后应用到某个报警规则里面，这样一旦有问题，就可以实现报警啦。 另外对于一些规则的管理，我们可以使用一些开源的 Dashboard 来管理，如 Krama，<a href="https://github.com/prymitive/karma，利用它我们可以方便配置、禁用和筛选一些报警规则，界面如下" target="_blank" rel="noopener">https://github.com/prymitive/karma，利用它我们可以方便配置、禁用和筛选一些报警规则，界面如下</a>： <img src="https://qiniu.cuiqingcai.com/2020-04-14-093102.png" alt="image-20200414173101030"> 不过公司内部已经实现了一套了，对接了公司的员工账号，更加方便，所以我就没有再用这个了。</p>
                  <h2 id="定时重启"><a href="#定时重启" class="headerlink" title="定时重启"></a>定时重启</h2>
                  <p>这里另外遇到了一个问题，就是 JMeter 导出的监控数据是不断累积的，而监控的数据则是需要监控最近几分钟的数据，这样一旦发生了 Error，那么 Error Rate 由于历史数据的原因，在服务恢复之后永远不会降为 0，这就导致一些问题。另外如果 JMeter 如果一直运行，其占用的内存会越来越大。 所以一个最好的方式就是定时将 JMeter 重启，这样可以定时清空历史监控数据，保证在新的一段时间内测试获取到最近的监控数据，而不是混杂历史数据。 这里重启就可以利用 Kubernetes 的 Cronjob，比如我们可以每隔 10 分钟让 JMeter 重启一次，类似配置如下：</p>
                  <figure class="highlight less">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br><span class="line">21</span><br><span class="line">22</span><br><span class="line">23</span><br><span class="line">24</span><br><span class="line">25</span><br><span class="line">26</span><br><span class="line">27</span><br><span class="line">28</span><br><span class="line">29</span><br><span class="line">30</span><br><span class="line">31</span><br><span class="line">32</span><br><span class="line">33</span><br><span class="line">34</span><br><span class="line">35</span><br><span class="line">36</span><br><span class="line">37</span><br><span class="line">38</span><br><span class="line">39</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="attribute">apiVersion</span>: batch/v1beta1</span><br><span class="line"><span class="attribute">kind</span>: CronJob</span><br><span class="line"><span class="attribute">metadata</span>:</span><br><span class="line">  <span class="attribute">name</span>: jmeter-monitor</span><br><span class="line"><span class="attribute">spec</span>:</span><br><span class="line">  <span class="attribute">successfulJobsHistoryLimit</span>: <span class="number">0</span></span><br><span class="line">  <span class="attribute">failedJobsHistoryLimit</span>: <span class="number">0</span></span><br><span class="line">  <span class="attribute">concurrencyPolicy</span>: Replace</span><br><span class="line">  <span class="attribute">schedule</span>: <span class="string">"*/10 * * * *"</span></span><br><span class="line">  <span class="attribute">jobTemplate</span>:</span><br><span class="line">    <span class="attribute">spec</span>:</span><br><span class="line">      <span class="attribute">template</span>:</span><br><span class="line">        <span class="attribute">metadata</span>:</span><br><span class="line">          <span class="attribute">labels</span>:</span><br><span class="line">            <span class="attribute">service</span>: jmeter-monitor</span><br><span class="line">        <span class="attribute">spec</span>:</span><br><span class="line">          <span class="attribute">containers</span>:</span><br><span class="line">            - <span class="attribute">args</span>:</span><br><span class="line">                - jmeter-monitor.jmx</span><br><span class="line">              <span class="attribute">image</span>: germey/<span class="attribute">jmeter</span>:<span class="number">1</span></span><br><span class="line">              <span class="attribute">name</span>: jmeter-monitor</span><br><span class="line">              <span class="attribute">volumeMounts</span>:</span><br><span class="line">                - <span class="attribute">mountPath</span>: /app</span><br><span class="line">                  <span class="attribute">name</span>: jmeter-storage</span><br><span class="line">              <span class="attribute">ports</span>:</span><br><span class="line">                - <span class="attribute">containerPort</span>: <span class="number">80</span></span><br><span class="line">              <span class="attribute">imagePullPolicy</span>: IfNotPresent</span><br><span class="line">              <span class="attribute">resources</span>:</span><br><span class="line">                <span class="attribute">requests</span>:</span><br><span class="line">                  <span class="attribute">memory</span>: <span class="string">"4Gi"</span></span><br><span class="line">                  <span class="attribute">cpu</span>: <span class="string">"250m"</span></span><br><span class="line">                <span class="attribute">limits</span>:</span><br><span class="line">                  <span class="attribute">memory</span>: <span class="string">"4Gi"</span></span><br><span class="line">                  <span class="attribute">cpu</span>: <span class="string">"250m"</span></span><br><span class="line">          <span class="attribute">restartPolicy</span>: OnFailure</span><br><span class="line">          <span class="attribute">volumes</span>:</span><br><span class="line">            - <span class="attribute">name</span>: jmeter-storage</span><br><span class="line">              <span class="attribute">persistentVolumeClaim</span>:</span><br><span class="line">                <span class="attribute">claimName</span>: jmeter</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>这里有几个地方值得注意：</p>
                  <ul>
                    <li>一个是 concurrencyPolicy，这里配置为 Replace，意思是重启后新建的 Pod 会替换原来的 Pod，保证 JMeter 的 Pod 只有一个。</li>
                    <li>另外一个是 imagePullPolicy 配置为 IfNotPresent，这样可以每次重启的时候不用重新拉镜像。</li>
                  </ul>
                  <p>这样的话，就能避免发生错误的时候 Error Rate 无法降为 0 的状态了。 好了，到此为止呢，我们就介绍完了使用 JMeter + Kubernetes + Prometheus + Grafana + Alert Manager 进行监控的整体思路了，希望对大家有帮助。 另外由于内容比较多，这里很多地方没有展开讲解，比如 JMeter 的配置、Grafana 的配置、Prometheus-Operator 的配置、Alert Manager 的配置等等，不知道大家敢不敢兴趣，如果感兴趣的话，后面可以继续深入写一个小系列来讲解哈。</p>
                  </p>
                </div>
              </div>
              <div class="post-meta">
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-user"></i>
                  </span>
                  <span class="post-meta-item-text">作者</span>
                  <span><a href="/authors/崔庆才" class="author" itemprop="url" rel="index">崔庆才</a></span>
                </span>
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-calendar"></i>
                  </span>
                  <span class="post-meta-item-text">发表于</span>
                  <time title="创建时间：2020-04-21 12:51:08" itemprop="dateCreated datePublished" datetime="2020-04-21T12:51:08+08:00">2020-04-21</time>
                </span>
                <span id="/9205.html" class="post-meta-item leancloud_visitors" data-flag-title="如何用 JMeter + Kubernetes + Prometheus + Grafana + Alert Manager 实时监控你的服务器" title="阅读次数">
                  <span class="post-meta-item-icon">
                    <i class="fa fa-eye"></i>
                  </span>
                  <span class="post-meta-item-text">阅读次数：</span>
                  <span class="leancloud-visitors-count"></span>
                </span>
                <span class="post-meta-item" title="本文字数">
                  <span class="post-meta-item-icon">
                    <i class="far fa-file-word"></i>
                  </span>
                  <span class="post-meta-item-text">本文字数：</span>
                  <span>7.9k</span>
                </span>
                <span class="post-meta-item" title="阅读时长">
                  <span class="post-meta-item-icon">
                    <i class="far fa-clock"></i>
                  </span>
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                  <span>7 分钟</span>
                </span>
              </div>
            </article>
            <article itemscope itemtype="http://schema.org/Article" class="post-block index" lang="zh-CN">
              <link itemprop="mainEntityOfPage" href="https://cuiqingcai.com/9202.html">
              <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
                <meta itemprop="image" content="/images/avatar.png">
                <meta itemprop="name" content="崔庆才">
                <meta itemprop="description" content="崔庆才的个人站点，记录生活的瞬间，分享学习的心得。">
              </span>
              <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
                <meta itemprop="name" content="静觅">
              </span>
              <header class="post-header">
                <h2 class="post-title" itemprop="name headline">
                  <a class="label"> 个人随笔 <i class="label-arrow"></i>
                  </a>
                  <a href="/9202.html" class="post-title-link" itemprop="url">说说拖延症</a>
                </h2>
              </header>
              <div class="post-body" itemprop="articleBody">
                <div class="thumb">
                  <img itemprop="contentUrl" class="random">
                </div>
                <div class="excerpt">
                  <p>
                  <p>刚刚又完成了一项任务。 而这个任务明天就要检查上交了，在这之前，我其实有很多很多的时间去做这件事，而我还是把这个拖到了最后。 怎么说呢？这个就是拖延症，不到最后一刻不去做，总要拖到 Deadline 才去搞。哎，其实吧反思我自己，一直就有这个毛病，不知道大家是不是也有这个毛病，或许大家都有的吧。不然怎么来的 Deadline 是第一生产力的说法呢。 这个毛病体现在太多方面了，比如拿我自己说吧：</p>
                  <ul>
                    <li>快到交稿的时候才去再赶点。</li>
                    <li>快到明天检查项目的时候才去做点。</li>
                    <li>快到考前再去复习。</li>
                    <li>…</li>
                  </ul>
                  <p>其实也不能说拖延症不好吧，比如拿第三项「快到考前再去复习」，我确实到最后的时候效率会比平时高非常多。我大学和研究生几乎都是翘课翘过来的，除了那些重要的或者老师点名的课会去去，其他的一律翘掉，最后考前突击两星期，然后考个八九十分。悄悄炫耀下吧，当时突击得大学平均绩点最后突击了年级前 5%，最后还保研了，这其实让我有点难以相信的。不过研究生成绩就不行了，因为已经铁了心毕业就工作，所以精力都放在了自己的项目和公司工作上面，所以成绩就没上心了，中游水平吧。 再说回大学吧，由于我平时对考前复习的 “拖延”，我可以平时把精力放在自己更感兴趣的事情上面。比如大学的时候吧，我加了一个实验室，基本上翘课的时间都是泡在实验室里面，我也忘记是在做什么了，也有在摸鱼，反正就是不想上课，当然也有挺多时候在撸代码，学一些技术什么的。所以相比一些「学霸」，我平时还 GET 到了一些编程技能，最后可能绩点还比他们高，而他们可能所有精力都放在功课上了，这可能他们想起来就有点气了哈哈。但其实吧，我虽然当时有点得意，以为自己占到了便宜，但其实当时对某些基础的理解确实不如平时认真学习的同学理解得透彻，比如当时计算机网络、计算机组成原理，当时就是考试突击，考试得了高分，但其实当时对里面的知识理解并不到位，到了真正用的时候，拾起来就没那么容易了。但当然也分科目，比如我到现在工作真的也没有用到计算机组成原理、电子电路的任何一点知识，以后也可能不会用到。所以，如果正在读本文的你，现在如果还在读大学的话，想清楚哪些科目将来对你可能是有用的，好好去学，好好去听讲，不要学我翘这么多课，没准你将来真的可能会用到，到时候就不要后悔自己当时为什么没好好学。 扯远了，这里只是想论证下有些情况拖延症并不一定完全是坏处，也算是给拖延症找了个美丽但似乎不太恰当的借口吧。 不过话说回来，拖延症在多数情况下是不好的，例子就不举了，大家肯定也深有体会。 我曾经也看过关于拖延症的一些科普或 “诊疗” 方案，怎么说呢？每人都会有惰性，每人都喜欢待在自己的 “舒适区”，毕竟躺在被窝里面玩手机多么舒服啊。 还看到一个关于拖延症的解释是说不够热爱，如果你非常热爱你做的事情，你是不会拖延的。我想了想，好像不是这样，比如我热爱 Python、喜欢编程、喜欢去实现某些东西，我想起来为什么有的时候还是不想去做呢？也不是不喜欢不热爱，那就是懒，可能喜欢呆在舒适区就是更合理的解释，因为我也喜欢睡懒觉和躺着玩手机。 所以，有什么方法能缓解我的拖延症呢？ 我之前试过一个方法，还是挺有用的。这里分享给大家吧。 比如我现在要写一个过了很久都不维护的项目吧，一想起来要打开它、配置环境、跑起来就各种事，懒得去做。这时候，我通常采取的方法就是强忍着，啥也不管，我就去迎着头皮去做，比如去把项目代码 clone 下来，然后 IDE 打开，然后试着跑起来，出错了稍微调一调，或者试着改几句代码。过这么十几分钟折腾，这时候发现再写，那就能比较顺利地写下去了。 比如我现在要写一篇文章，一想起来我要打开文本编辑器、构思、梳理知识点就又懒得去做。这时候我采取的方案就是强制我自己打开文本编辑器，比如现在写的这篇文章就是这样，我本来并不想写，但是脑子里面又想到了一些事情，还是写写比较好，那我就硬着头皮打开吧，本想写个一两百字就行了，结果你看我现在写到这里了，咦你看我又写了十个字呢，你看我又写了十个字呢，是不是有点文思泉涌啊哈哈哈哈哈。诺，你看到现在，从我写这篇稿子到现在，也就过了不到十分钟吧，我这篇稿子就快收尾了，舒服啊。 俗话说，万事开头难，做事情就是这样，如果大家也遇到了这个问题，不妨也可以试试这个方法，感觉还挺有效的。 但并不是 100% 有效哈，有时候我就是懒到一天啥也不想干也不是没有。 最后再说一个点，那就是其实，你看这件事，你在做之前，你可能觉得这件事好麻烦，不想干，或者好难，我干不了。但在可能大多数情况下，一旦你开始干了，你会发现并没有那么难那么麻烦。 其实，难的就是开始。 好了，我的稿子写完了，你看我在写之前觉得麻烦的一件事，这不就完结了吗。 嗯，就是大晚上随便写写，突然想起来，我似乎今天还有几件觉得比较麻烦的事还没干呢，我去开头去啦，拜拜。</p>
                  </p>
                </div>
              </div>
              <div class="post-meta">
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-user"></i>
                  </span>
                  <span class="post-meta-item-text">作者</span>
                  <span><a href="/authors/崔庆才" class="author" itemprop="url" rel="index">崔庆才</a></span>
                </span>
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-calendar"></i>
                  </span>
                  <span class="post-meta-item-text">发表于</span>
                  <time title="创建时间：2020-04-21 12:46:46" itemprop="dateCreated datePublished" datetime="2020-04-21T12:46:46+08:00">2020-04-21</time>
                </span>
                <span id="/9202.html" class="post-meta-item leancloud_visitors" data-flag-title="说说拖延症" title="阅读次数">
                  <span class="post-meta-item-icon">
                    <i class="fa fa-eye"></i>
                  </span>
                  <span class="post-meta-item-text">阅读次数：</span>
                  <span class="leancloud-visitors-count"></span>
                </span>
                <span class="post-meta-item" title="本文字数">
                  <span class="post-meta-item-icon">
                    <i class="far fa-file-word"></i>
                  </span>
                  <span class="post-meta-item-text">本文字数：</span>
                  <span>1.9k</span>
                </span>
                <span class="post-meta-item" title="阅读时长">
                  <span class="post-meta-item-icon">
                    <i class="far fa-clock"></i>
                  </span>
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                  <span>2 分钟</span>
                </span>
              </div>
            </article>
            <article itemscope itemtype="http://schema.org/Article" class="post-block index" lang="zh-CN">
              <link itemprop="mainEntityOfPage" href="https://cuiqingcai.com/9200.html">
              <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
                <meta itemprop="image" content="/images/avatar.png">
                <meta itemprop="name" content="崔庆才">
                <meta itemprop="description" content="崔庆才的个人站点，记录生活的瞬间，分享学习的心得。">
              </span>
              <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
                <meta itemprop="name" content="静觅">
              </span>
              <header class="post-header">
                <h2 class="post-title" itemprop="name headline">
                  <a class="label"> 技术杂谈 <i class="label-arrow"></i>
                  </a>
                  <a href="/9200.html" class="post-title-link" itemprop="url">利用深度学习 PyTorch 识别滑动验证码缺口</a>
                </h2>
              </header>
              <div class="post-body" itemprop="articleBody">
                <div class="thumb">
                  <img itemprop="contentUrl" class="random">
                </div>
                <div class="excerpt">
                  <p>
                  <p>在前面写过一篇文章介绍深度学习识别滑动验证码缺口的文章，在这篇文章里，我们使用华为云 ModelArts 轻松完成了滑动验证码缺口的识别。但是那种实现方案依赖于 ModelArts，是华为云提供的深度学习平台所搭建的识别模型，其实其内部是用的深度学习的某种目标检测算法实现的，如果利用平台的话，我们无需去申请 GPU、无需去了解其内部的基本原理究竟是怎么回事，它提供了一系列标注、训练、部署的流程。 但用上述方法是有一定的弊端的，比如使用会一直收费，另外不好调优、不好更好地定制自己的一些需求等等。所以这里再发一篇文章来介绍一下直接使用 Python 的深度学习模型来实现滑动验证码缺口识别的方法。</p>
                  <h2 id="效果"><a href="#效果" class="headerlink" title="效果"></a>效果</h2>
                  <p>目前可以做到只需要几百张缺口标注图片即可训练出精度高的识别模型，并且可扩展修改为其他任何样式的缺口识别，识别效果样例： <img src="https://qiniu.cuiqingcai.com/2020-04-18-135131.png" alt="样例"> 只需要给模型输入一张带缺口的验证码图片，模型就能输出缺口的轮廓和边界信息。 感兴趣的可以继续向下看具体的实现流程。</p>
                  <h2 id="基础了解"><a href="#基础了解" class="headerlink" title="基础了解"></a>基础了解</h2>
                  <p>缺口识别属于目标检测问题，关于什么是目标检测这里就不再赘述了，可以参考之前写的这篇文章。 当前做目标检测的算法主要有两种路子，有一阶段式和两阶段式，英文叫做 One stage 和 Two stage，简述如下：</p>
                  <ul>
                    <li>Two Stage：算法首先生成一系列目标所在位置的候选框，然后再对这些框选出来的结果进行样本分类，即先找出来在哪，然后再分出来是啥，俗话说叫「看两眼」，这种算法有 R-CNN、Fast R-CNN、Faster R-CNN 等，这些算法架构相对复杂，但准确率上有优势。</li>
                    <li>One Stage：不需要产生候选框，直接将目标定位和分类的问题转化为回归问题，俗话说叫「看一眼」，这种算法有 YOLO、SSD，这些算法虽然准确率上不及 Two stage，但架构相对简单，检测速度更快。</li>
                  </ul>
                  <p>所以这次我们选用 One Stage 的有代表性的目标检测算法 YOLO 来实现滑动验证码缺口的识别。 YOLO，英文全称叫做 You Only Look Once，取了它们的首字母就构成了算法名， 目前 YOLO 算法最新的版本是 V3 版本，这里算法的具体流程我们就不过多介绍了，感兴趣的可以搜一下相关资料了解下，另外也可以了解下 YOLO V1-V3 版本的不同和改进之处，这里列几个参考链接。</p>
                  <ul>
                    <li>YOLO V3 论文：<a href="https://pjreddie.com/media/files/papers/YOLOv3.pdf" target="_blank" rel="noopener">https://pjreddie.com/media/files/papers/YOLOv3.pdf</a></li>
                    <li>YOLO V3 介绍：<a href="https://zhuanlan.zhihu.com/p/34997279" target="_blank" rel="noopener">https://zhuanlan.zhihu.com/p/34997279</a></li>
                    <li>YOLO V1-V3 对比介绍：<a href="https://www.cnblogs.com/makefile/p/yolov3.html" target="_blank" rel="noopener">https://www.cnblogs.com/makefile/p/yolov3.html</a></li>
                  </ul>
                  <h2 id="数据准备"><a href="#数据准备" class="headerlink" title="数据准备"></a>数据准备</h2>
                  <p>回归我们本节的主题，我们要做的是缺口的位置识别，那么第一步应该做什么呢？ 我们的目标是要训练深度学习模型，训练模型，那我们总得需要让模型知道要学点什么东西吧，这次我们做缺口识别，那么我们需要让模型学的就是这个缺口在哪里。由于一张验证码图片只有一个缺口，要分类就是一类，所以我们只需要找到缺口位置就行了。 好，那模型要学缺口在哪里，那我们就得提供点样本数据让模型来学习才行。数据怎样的呢？那数据就得有带缺口的验证码图片以及我们自己标注的缺口位置。只有把这两部分都告诉模型，模型才能去学习。等模型学好了，等我们再给个新的验证码，那就能检测出缺口在哪里了，这就是一个成功的模型。 OK，那我们就开始准备数据和缺口标注结果吧。 数据这里用的是网易盾的验证码，验证码图片可以自行收集，写个脚本批量保存下来就行。标注的工具可以使用 LabelImg，GitHub 链接为：<a href="https://github.com/tzutalin/labelImg，利用它我们可以方便地进行检测目标位置的标注和类别的标注，如这里验证码和标注示例如下" target="_blank" rel="noopener">https://github.com/tzutalin/labelImg，利用它我们可以方便地进行检测目标位置的标注和类别的标注，如这里验证码和标注示例如下</a>： <img src="https://qiniu.cuiqingcai.com/2020-04-18-131850.png" alt="标注效果"> 标注完了会生成一系列 xml 文件，你需要解析 xml 文件把位置的坐标和类别等处理一下，转成训练模型需要的数据。 在这里我先把我整理的数据集放出来吧，完整 GitHub 链接为：<a href="https://github.com/Python3WebSpider/DeepLearningSlideCaptcha，我标注了" target="_blank" rel="noopener">https://github.com/Python3WebSpider/DeepLearningSlideCaptcha，我标注了</a> 200 多张图片，然后处理了 xml 文件，变成训练 YOLO 模型需要的数据格式，验证码图片和标注结果见 data/captcha 文件夹。 如果要训练自己的数据，数据格式准备见：<a href="https://github.com/eriklindernoren/PyTorch-YOLOv3#train-on-custom-dataset" target="_blank" rel="noopener">https://github.com/eriklindernoren/PyTorch-YOLOv3#train-on-custom-dataset</a>。</p>
                  <h2 id="初始化"><a href="#初始化" class="headerlink" title="初始化"></a>初始化</h2>
                  <p>上一步我已经把标注好的数据处理好了，可以直接拿来训练了。 由于 YOLO 模型相对比较复杂，所以这个项目我就直接基于开源的 PyTorch-YOLOV3 项目来修改了，模型使用的深度学习框架为 PyTorch，具体的 YOLO V3 模型的实现这里不再阐述了。 另外推荐使用 GPU 训练，不然拿 CPU 直接训练速度很慢。我的 GPU 是 P100，几乎十几秒就训练完一轮。 下面就直接把代码克隆下来吧。 由于本项目我把训练好的模型也放上去了，使用了 Git LFS，所以克隆时间较长，克隆命令如下：</p>
                  <figure class="highlight crmsh">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">git <span class="keyword">clone</span> <span class="title">https</span>://github.com/Python3WebSpider/DeepLearningSlideCaptcha.git</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>如果想加速克隆，暂时先跳过大文件模型下载，可以执行命令：</p>
                  <figure class="highlight crmsh">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="attr">GIT_LFS_SKIP_SMUDGE=</span><span class="number">1</span> git <span class="keyword">clone</span> <span class="title">https</span>://github.com/Python3WebSpider/DeepLearningSlideCaptcha.git</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <h2 id="环境安装"><a href="#环境安装" class="headerlink" title="环境安装"></a>环境安装</h2>
                  <p>代码克隆下载之后，我们还需要下载一些预训练模型。 YOLOV3 的训练要加载预训练模型才能有不错的训练效果，预训练模型下载命令如下：</p>
                  <figure class="highlight arduino">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">bash <span class="built_in">prepare</span>.sh</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>执行这个脚本，就能下载 YOLO V3 模型的一些权重文件，包括 yolov3 和 weights 还有 darknet 的 weights，在训练之前我们需要用这些权重文件初始化 YOLO V3 模型。</p>
                  <blockquote>
                    <p>注意：Windows 下建议使用 Git Bash 来运行上述命令。</p>
                  </blockquote>
                  <p>另外还需要安装一些必须的库，如 PyTorch、TensorBoard 等，建议使用 Python 虚拟环境，运行命令如下：</p>
                  <figure class="highlight cmake">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">pip3 <span class="keyword">install</span> -r requirements.txt</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>这些库都安装好了之后，就可以开始训练了。</p>
                  <h2 id="训练"><a href="#训练" class="headerlink" title="训练"></a>训练</h2>
                  <p>本项目已经提供了标注好的数据集，在 data/captcha，可以直接使用。 当前数据训练脚本：</p>
                  <figure class="highlight armasm">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="keyword">bash </span>train.sh</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>实测 P100 训练时长约 15 秒一个 epoch，大约几分钟即可训练出较好效果。 训练差不多了，我们可以使用 TensorBoard 来看看 loss 和 mAP 的变化，运行 TensorBoard：</p>
                  <figure class="highlight angelscript">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">tensorboard --logdir=<span class="string">'logs'</span> --port=<span class="number">6006</span> --host <span class="number">0.0</span><span class="number">.0</span><span class="number">.0</span></span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>loss_1 变化如下： <img src="https://qiniu.cuiqingcai.com/2020-04-18-134019.png" alt="loss 变化"> val_mAP 变化如下： <img src="https://qiniu.cuiqingcai.com/2020-04-18-134051.png" alt="mAP 变化"> 可以看到 loss 从最初的非常高下降到了很低，准确率也逐渐接近 100%。 另外训练过程中还能看到如下的输出结果：</p>
                  <figure class="highlight gherkin">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">\---- [Epoch 99/100, Batch 27/29] ----</span><br><span class="line">+------------+--------------+--------------+--------------+</span><br><span class="line">|<span class="string"> Metrics    </span>|<span class="string"> YOLO Layer 0 </span>|<span class="string"> YOLO Layer 1 </span>|<span class="string"> YOLO Layer 2 </span>|</span><br><span class="line">+------------+--------------+--------------+--------------+</span><br><span class="line">|<span class="string"> grid_size  </span>|<span class="string"> 14           </span>|<span class="string"> 28           </span>|<span class="string"> 56           </span>|</span><br><span class="line">|<span class="string"> loss       </span>|<span class="string"> 0.028268     </span>|<span class="string"> 0.046053     </span>|<span class="string"> 0.043745     </span>|</span><br><span class="line">|<span class="string"> x          </span>|<span class="string"> 0.002108     </span>|<span class="string"> 0.005267     </span>|<span class="string"> 0.008111     </span>|</span><br><span class="line">|<span class="string"> y          </span>|<span class="string"> 0.004561     </span>|<span class="string"> 0.002016     </span>|<span class="string"> 0.009047     </span>|</span><br><span class="line">|<span class="string"> w          </span>|<span class="string"> 0.001284     </span>|<span class="string"> 0.004618     </span>|<span class="string"> 0.000207     </span>|</span><br><span class="line">|<span class="string"> h          </span>|<span class="string"> 0.000594     </span>|<span class="string"> 0.000528     </span>|<span class="string"> 0.000946     </span>|</span><br><span class="line">|<span class="string"> conf       </span>|<span class="string"> 0.019700     </span>|<span class="string"> 0.033624     </span>|<span class="string"> 0.025432     </span>|</span><br><span class="line">|<span class="string"> cls        </span>|<span class="string"> 0.000022     </span>|<span class="string"> 0.000001     </span>|<span class="string"> 0.000002     </span>|</span><br><span class="line">|<span class="string"> cls_acc    </span>|<span class="string"> 100.00%      </span>|<span class="string"> 100.00%      </span>|<span class="string"> 100.00%      </span>|</span><br><span class="line">|<span class="string"> recall50   </span>|<span class="string"> 1.000000     </span>|<span class="string"> 1.000000     </span>|<span class="string"> 1.000000     </span>|</span><br><span class="line">|<span class="string"> recall75   </span>|<span class="string"> 1.000000     </span>|<span class="string"> 1.000000     </span>|<span class="string"> 1.000000     </span>|</span><br><span class="line">|<span class="string"> precision  </span>|<span class="string"> 1.000000     </span>|<span class="string"> 0.800000     </span>|<span class="string"> 0.666667     </span>|</span><br><span class="line">|<span class="string"> conf_obj   </span>|<span class="string"> 0.994271     </span>|<span class="string"> 0.999249     </span>|<span class="string"> 0.997762     </span>|</span><br><span class="line">|<span class="string"> conf_noobj </span>|<span class="string"> 0.000126     </span>|<span class="string"> 0.000158     </span>|<span class="string"> 0.000140     </span>|</span><br><span class="line">+------------+--------------+--------------+--------------+</span><br><span class="line">Total loss 0.11806630343198776</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>这里显示了训练过程中各个指标的变化情况，如 loss、recall、precision、confidence 等，分别代表训练过程的损失（越小越好）、召回率（能识别出的结果占应该识别出结果的比例，越高越好）、精确率（识别出的结果中正确的比率，越高越好）、置信度（模型有把握识别对的概率，越高越好），可以作为参考。</p>
                  <h2 id="测试"><a href="#测试" class="headerlink" title="测试"></a>测试</h2>
                  <p>训练完毕之后会在 checkpoints 文件夹生成 pth 文件，可直接使用模型来预测生成标注结果。 如果你没有训练自己的模型的话，这里我已经把训练好的模型放上去了，可以直接使用我训练好的模型来测试。如之前跳过了 Git LFS 文件下载，则可以使用如下命令下载 Git LFS 文件：</p>
                  <figure class="highlight ebnf">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="attribute">git lfs pull</span></span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>此时 checkpoints 文件夹会生成训练好的 pth 文件。 测试脚本：</p>
                  <figure class="highlight stata">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="keyword">sh</span> detect.<span class="keyword">sh</span></span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>该脚本会读取 captcha 下的 test 文件夹所有图片，并将处理后的结果输出到 result 文件夹。 运行结果样例：</p>
                  <figure class="highlight yaml">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br><span class="line">21</span><br><span class="line">22</span><br><span class="line">23</span><br><span class="line">24</span><br><span class="line">25</span><br><span class="line">26</span><br><span class="line">27</span><br><span class="line">28</span><br><span class="line">29</span><br><span class="line">30</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="attr">Performing object detection:</span></span><br><span class="line">        <span class="string">+</span> <span class="string">Batch</span> <span class="number">0</span><span class="string">,</span> <span class="attr">Inference Time:</span> <span class="number">0</span><span class="string">:00:00.044223</span></span><br><span class="line">        <span class="string">+</span> <span class="string">Batch</span> <span class="number">1</span><span class="string">,</span> <span class="attr">Inference Time:</span> <span class="number">0</span><span class="string">:00:00.028566</span></span><br><span class="line">        <span class="string">+</span> <span class="string">Batch</span> <span class="number">2</span><span class="string">,</span> <span class="attr">Inference Time:</span> <span class="number">0</span><span class="string">:00:00.029764</span></span><br><span class="line">        <span class="string">+</span> <span class="string">Batch</span> <span class="number">3</span><span class="string">,</span> <span class="attr">Inference Time:</span> <span class="number">0</span><span class="string">:00:00.032430</span></span><br><span class="line">        <span class="string">+</span> <span class="string">Batch</span> <span class="number">4</span><span class="string">,</span> <span class="attr">Inference Time:</span> <span class="number">0</span><span class="string">:00:00.033373</span></span><br><span class="line">        <span class="string">+</span> <span class="string">Batch</span> <span class="number">5</span><span class="string">,</span> <span class="attr">Inference Time:</span> <span class="number">0</span><span class="string">:00:00.027861</span></span><br><span class="line">        <span class="string">+</span> <span class="string">Batch</span> <span class="number">6</span><span class="string">,</span> <span class="attr">Inference Time:</span> <span class="number">0</span><span class="string">:00:00.031444</span></span><br><span class="line">        <span class="string">+</span> <span class="string">Batch</span> <span class="number">7</span><span class="string">,</span> <span class="attr">Inference Time:</span> <span class="number">0</span><span class="string">:00:00.032110</span></span><br><span class="line">        <span class="string">+</span> <span class="string">Batch</span> <span class="number">8</span><span class="string">,</span> <span class="attr">Inference Time:</span> <span class="number">0</span><span class="string">:00:00.029131</span></span><br><span class="line"></span><br><span class="line"><span class="attr">Saving images:</span></span><br><span class="line"><span class="string">(0)</span> <span class="attr">Image:</span> <span class="string">'data/captcha/test/captcha_4497.png'</span></span><br><span class="line">        <span class="string">+</span> <span class="attr">Label:</span> <span class="string">target,</span> <span class="attr">Conf:</span> <span class="number">0.99999</span></span><br><span class="line"><span class="string">(1)</span> <span class="attr">Image:</span> <span class="string">'data/captcha/test/captcha_4498.png'</span></span><br><span class="line">        <span class="string">+</span> <span class="attr">Label:</span> <span class="string">target,</span> <span class="attr">Conf:</span> <span class="number">0.99999</span></span><br><span class="line"><span class="string">(2)</span> <span class="attr">Image:</span> <span class="string">'data/captcha/test/captcha_4499.png'</span></span><br><span class="line">        <span class="string">+</span> <span class="attr">Label:</span> <span class="string">target,</span> <span class="attr">Conf:</span> <span class="number">0.99997</span></span><br><span class="line"><span class="string">(3)</span> <span class="attr">Image:</span> <span class="string">'data/captcha/test/captcha_4500.png'</span></span><br><span class="line">        <span class="string">+</span> <span class="attr">Label:</span> <span class="string">target,</span> <span class="attr">Conf:</span> <span class="number">0.99999</span></span><br><span class="line"><span class="string">(4)</span> <span class="attr">Image:</span> <span class="string">'data/captcha/test/captcha_4501.png'</span></span><br><span class="line">        <span class="string">+</span> <span class="attr">Label:</span> <span class="string">target,</span> <span class="attr">Conf:</span> <span class="number">0.99997</span></span><br><span class="line"><span class="string">(5)</span> <span class="attr">Image:</span> <span class="string">'data/captcha/test/captcha_4502.png'</span></span><br><span class="line">        <span class="string">+</span> <span class="attr">Label:</span> <span class="string">target,</span> <span class="attr">Conf:</span> <span class="number">0.99999</span></span><br><span class="line"><span class="string">(6)</span> <span class="attr">Image:</span> <span class="string">'data/captcha/test/captcha_4503.png'</span></span><br><span class="line">        <span class="string">+</span> <span class="attr">Label:</span> <span class="string">target,</span> <span class="attr">Conf:</span> <span class="number">0.99997</span></span><br><span class="line"><span class="string">(7)</span> <span class="attr">Image:</span> <span class="string">'data/captcha/test/captcha_4504.png'</span></span><br><span class="line">        <span class="string">+</span> <span class="attr">Label:</span> <span class="string">target,</span> <span class="attr">Conf:</span> <span class="number">0.99998</span></span><br><span class="line"><span class="string">(8)</span> <span class="attr">Image:</span> <span class="string">'data/captcha/test/captcha_4505.png'</span></span><br><span class="line">        <span class="string">+</span> <span class="attr">Label:</span> <span class="string">target,</span> <span class="attr">Conf:</span> <span class="number">0.99998</span></span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>拿几个样例结果看下： <img src="https://qiniu.cuiqingcai.com/2020-04-18-140149.png" alt=""> <img src="https://qiniu.cuiqingcai.com/2020-04-18-140204.png" alt=""> <img src="https://qiniu.cuiqingcai.com/2020-04-18-140219.png" alt=""> 这里我们可以看到，利用训练好的模型我们就成功识别出缺口的位置了，另外程序还会打印输出这个边框的中心点和宽高信息。 有了这个边界信息，我们再利用某些手段拖动滑块即可通过验证了。本节不再展开讲解。</p>
                  <h2 id="总结"><a href="#总结" class="headerlink" title="总结"></a>总结</h2>
                  <p>本篇文章我们介绍了使用深度学习识别滑动验证码缺口的方法，包括标注、训练、测试等环节都进行了阐述。 GitHub 代码：<a href="https://github.com/Python3WebSpider/DeepLearningSlideCaptcha" target="_blank" rel="noopener">https://github.com/Python3WebSpider/DeepLearningSlideCaptcha</a>。 欢迎 Star、Folk，如果遇到问题，可以在 GitHub Issue 留言。</p>
                  </p>
                </div>
              </div>
              <div class="post-meta">
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-user"></i>
                  </span>
                  <span class="post-meta-item-text">作者</span>
                  <span><a href="/authors/崔庆才" class="author" itemprop="url" rel="index">崔庆才</a></span>
                </span>
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-calendar"></i>
                  </span>
                  <span class="post-meta-item-text">发表于</span>
                  <time title="创建时间：2020-04-21 12:45:04" itemprop="dateCreated datePublished" datetime="2020-04-21T12:45:04+08:00">2020-04-21</time>
                </span>
                <span id="/9200.html" class="post-meta-item leancloud_visitors" data-flag-title="利用深度学习 PyTorch 识别滑动验证码缺口" title="阅读次数">
                  <span class="post-meta-item-icon">
                    <i class="fa fa-eye"></i>
                  </span>
                  <span class="post-meta-item-text">阅读次数：</span>
                  <span class="leancloud-visitors-count"></span>
                </span>
                <span class="post-meta-item" title="本文字数">
                  <span class="post-meta-item-icon">
                    <i class="far fa-file-word"></i>
                  </span>
                  <span class="post-meta-item-text">本文字数：</span>
                  <span>5.4k</span>
                </span>
                <span class="post-meta-item" title="阅读时长">
                  <span class="post-meta-item-icon">
                    <i class="far fa-clock"></i>
                  </span>
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                  <span>5 分钟</span>
                </span>
              </div>
            </article>
            <article itemscope itemtype="http://schema.org/Article" class="post-block index" lang="zh-CN">
              <link itemprop="mainEntityOfPage" href="https://cuiqingcai.com/9160.html">
              <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
                <meta itemprop="image" content="/images/avatar.png">
                <meta itemprop="name" content="崔庆才">
                <meta itemprop="description" content="崔庆才的个人站点，记录生活的瞬间，分享学习的心得。">
              </span>
              <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
                <meta itemprop="name" content="静觅">
              </span>
              <header class="post-header">
                <h2 class="post-title" itemprop="name headline">
                  <a class="label"> Python <i class="label-arrow"></i>
                  </a>
                  <a href="/9160.html" class="post-title-link" itemprop="url">LaGou招聘，整一下？</a>
                </h2>
              </header>
              <div class="post-body" itemprop="articleBody">
                <div class="thumb">
                  <img itemprop="contentUrl" class="random">
                </div>
                <div class="excerpt">
                  <p>
                  <p><strong>声明</strong>：本文由一位知名的不知名Payne原创，转载请注明出处！ 首先说一下这个有啥用?要说有用也没啥用,要说没用吧，既然能拿到这些数据，拿来做数据分析。能有效的得到职位信息，薪资信息等。也能为找工作更加简单吧，且能够比较有选择性的相匹配的职位及公司 本章节源码仓库为：<a href="https://github.com/Payne-Wu/PythonScrape" target="_blank" rel="noopener">https://github.com/Payne-Wu/PythonScrape</a> 一言不合直接上代码！具体教程及思路总代码后！ 所用解释器为Python3.7.1，编辑器为Pycharm 2018.3.5. 本着虚心求学，孜孜不倦，逼逼赖赖来这里虚心求学，孜孜不倦，逼逼赖赖，不喜勿喷，嘴下手下脚下都请留情。 本节所涉：Request基本使用、Request高级使用-会话维持、Cookies、Ajax、JSON数据格式 Request更多详情请参考Request官方文档： <a href="http://2.python-requests.org/zh_CN/latest/user/quickstart.html" target="_blank" rel="noopener">轻松入门中文版</a> <a href="http://2.python-requests.org/zh_CN/latest/user/advanced.html#advanced" target="_blank" rel="noopener">高级使用中文版</a> Cookie：有时也用其复数形式 <a href="https://baike.baidu.com/item/Cookies/187064" target="_blank" rel="noopener">Cookies</a>。类型为“<strong>小型文本文件</strong>”，是某些网站为了辨别用户身份，进行<a href="https://baike.baidu.com/item/Session/479100" target="_blank" rel="noopener">Session</a>跟踪而储存在用户本地终端上的数据（通常经过加密），由用户<a href="https://baike.baidu.com/item/%E5%AE%A2%E6%88%B7%E7%AB%AF/101081" target="_blank" rel="noopener">客户端</a>计算机暂时或永久保存的信息 具体Cookies详情请参考：<a href="https://baike.baidu.com/item/cookie/1119?fr=aladdin" target="_blank" rel="noopener">https://baike.baidu.com/item/cookie/1119?fr=aladdin</a></p>
                  <p>Ajax 即“Asynchronous Javascript And XML”（异步 JavaScript 和 XML），是指一种创建交互式、快速动态<a href="https://baike.baidu.com/item/%E7%BD%91%E9%A1%B5/99347" target="_blank" rel="noopener">网页</a>应用的网页开发技术，无需重新加载整个网页的情况下，能够更新部分网页的技术。</p>
                  <p>通过在后台与服务器进行少量数据交换，Ajax 可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新。</p>
                  <p><strong>JSON</strong>(JavaScript Object Notation)： 是一种轻量级的数据交换格式。 易于人阅读和编写。同时也易于机器解析和生成。 它基于<a href="http://www.crockford.com/javascript" target="_blank" rel="noopener">JavaScript Programming Language</a>, <a href="http://www.ecma-international.org/publications/files/ecma-st/ECMA-262.pdf" target="_blank" rel="noopener">Standard ECMA-262 3rd Edition - December 1999</a>的一个子集。 JSON采用<strong>完全独立于语言的文本格式</strong>，但是也使用了类似于C语言家族的习惯（包括C, C++, C#, Java, JavaScript, Perl, Python等）。 这些特性使JSON成为理想的数据交换语言。</p>
                  <p><em><strong>首先介绍一下关于本章代码的基本思路：</strong></em> <em><strong>四步走（发起请求、得到响应、解析响应得到数据、保存数据）</strong></em> <em><strong>四步中准确来说是三步，（发起请求，得到响应、解析响应，提取数据、保存数据）</strong></em></p>
                  <ul>
                    <li>
                      <h2 id="请求网页-在搜索框中输入所查询的岗位-lt-例如：Python-gt-，得到BASE-URL，"><a href="#请求网页-在搜索框中输入所查询的岗位-lt-例如：Python-gt-，得到BASE-URL，" class="headerlink" title="请求网页(在搜索框中输入所查询的岗位&lt;例如：Python&gt;，得到BASE_URL，)"></a>请求网页(在搜索框中输入所查询的岗位&lt;例如：Python&gt;，得到<a href="https://www.lagou.com/jobs/list_Python?labelWords=&amp;fromSearch=true&amp;suginput=" target="_blank" rel="noopener">BASE_URL</a>，)</h2>
                      <ul>
                        <li>BASE_URL:<a href="https://www.lagou.com/jobs/list_Python?labelWords=&amp;fromSearch=true&amp;suginput=" target="_blank" rel="noopener">https://www.lagou.com/jobs/list_Python?labelWords=&amp;fromSearch=true&amp;suginput=</a></li>
                        <li>加入请求头(注意加Cookies)，请求BASE_URL[gallery columns=”1” size=”full” ids=”9164”]</li>
                        <li>观察响应信息以及<a href="http://view-source:https://www.lagou.com/jobs/list_Python/p-city_0?&amp;cl=false&amp;fromSearch=true&amp;labelWords=&amp;suginput=">本网页源码</a>观察浏览器网页源码，对比发现其中并没有我们所需要的信息：发现Ajax的痕迹。<img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/04/NetworkPicture1.png" alt=""></li>
                        <li>经过一系列操作发现<a href="https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false" target="_blank" rel="noopener">Ajax网页</a>地址(在这里直接请求此链接并不能访问)：<img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/04/NetworkPicture.png" alt=""></li>
                        <li>
                          <p>多次请求过后，发现错误。错误的缘由是由于Cookies限制，并且网页以动态检测，且时间间隔小。</p>
                          <ul>
                            <li>经过前言的学习，已经学会了。会话维持。动态得到Cookies，这样不就可以把这个“反爬”彻底绕过了呢？答案肯定是滴</li>
                            <li>
                              <p>哪让我们做一下会话维持，并动态提取Cookies吧。<img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/04/DemoPicture1.png" alt=""></p>
                            </li>
                            <li>
                              <p>易混淆点：cookies的维持为什么是维持BASE_URL的而不是Ajax_URL?下面按照个人理解对于本Ajax给出以下解释：结合Ajax原理可知，Ajax其基本原理就是在网页中插入异步触发的。说到底他还是在这个页面，并没有转到其他页面。只是需要特定条件触发即可插入本网页</p>
                              <ul>
                                <li>```<br>def Get_cookies(header):
                                  <pre><code>&quot;&quot;&quot;
Get cookies
@param header:
@return: cookies
&quot;&quot;&quot;
with requests.Session() as s:
    s.get(cookies_url, headers=header)
    cookies = s.cookies
# cookies = requests.get(cookies_url, headers=header).cookies
return cookies
</code></pre>
                                </li>
                              </ul>
                            </li>
                          </ul>
                        </li>
                      </ul>
                    </li>
                  </ul>
                  <pre><code>            <figure class="highlight markdown"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br></pre>
                  </td>
                  <td class="code">
                    <pre><span class="line"><span class="code">                </span></span><br><span class="line"><span class="bullet">        *   </span>万事俱备、只欠东风：请求Ajax_URL 即可得到以下![](https://qiniu.cuiqingcai.com/wp-content/uploads/2020/04/DemoPicture2-Ajax-1.png)</span><br><span class="line"><span class="bullet">        *   </span>得到响应:经过以上操作已经请求完成了。并能够保障请求稳定性。(当然在此并没有做异常捕获，如果加上，将会更稳)</span><br><span class="line"><span class="bullet">*   </span>## 解析响应：如果上述步骤没有错的话，到此已经能得到网页数据了（如上图）：</span><br><span class="line"><span class="code">    </span></span><br><span class="line"></span><br><span class="line"><span class="bullet">*   </span>*   我用的提取代码如下 ：</span><br></pre>
                  </td>
                  </tr>
                  </table>
                  </figure> def parse(message): industryField = message[&#39;industryField&#39;] # company_message positionName = message[&#39;positionName&#39;] companyFullName = message[&#39;companyFullName&#39;] companySize = message[&#39;companySize&#39;] financeStage = message[&#39;financeStage&#39;] # companyLabelList = message[&#39;companyLabelList&#39;] companyLabelList = &#39;|&#39;.join(message[&#39;companyLabelList&#39;]) Type = &quot;|&quot;.join([message[&#39;firstType&#39;], message[&#39;secondType&#39;], message[&#39;thirdType&#39;]]) Address = &#39;&#39;.join([message[&#39;city&#39;], message[&#39;district&#39;], ]) salary = message[&#39;salary&#39;] positionAdvantage = message[&#39;positionAdvantage&#39;] # limitation factor workYear = message[&#39;workYear&#39;] jobNature = message[&#39;jobNature&#39;] education = message[&#39;education&#39;] items = f&quot;{positionName}, {companyFullName}, {companySize}, {financeStage}, {companyLabelList}, {industryField}, &quot; \ f&quot;{Type}, {salary}, {jobNature}, {education}&quot; # items = &quot;&quot;.join(str( # [positionName, companyFullName, companySize, financeStage, companyLabelList, industryField, Type, salary, # jobNature, education])) if items: # print(items) logging.info(items) # return items.replace(&#39;[&#39;, &#39;&#39;).replace(&#39;]&#39;, &#39;&#39;) return items.replace(&#39;(&#39;, &#39;&#39;).replace(&#39;)&#39;, &#39;&#39;) <figure class="highlight clean">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">        </span><br><span class="line">    *   此时只需提取相关数据，即可。得到：![](https:<span class="comment">//qiniu.cuiqingcai.com/wp-content/uploads/2020/04/DemoPicture3-json.png)</span></span><br><span class="line">*   ## 保存数据：</span><br><span class="line">    </span><br><span class="line">    *   ## 常规保存：(保存到本地)</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  </code></pre>
                  <p>def save_message(item):<br> with open(‘lg3.csv’, ‘a+’, encoding=’gbk’) as f:<br> f.write(item + ‘\n’)<br> thread_lock.release()</p>
                  <figure class="highlight markdown">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"></span><br><span class="line"><span class="bullet">*   </span>## 数据入库：（保存到数据库）</span><br><span class="line"><span class="code">    </span></span><br><span class="line"></span><br><span class="line"><span class="section">## 在这里我选择的为Mongo，接下来，那咱们操作一下吧。Mongo的安装便不在此处赘述。与mongo相关的文章，在这里比较推荐才哥和东哥的几篇文章(以本文来看，比较建议看看这几篇文章。并没说其他不好啊，不，我没有，我没说哦)，地址如下：</span></span><br><span class="line"></span><br><span class="line"><span class="bullet">*   </span>### [<span class="string">如何学好 MongoDB</span>](<span class="link">https://cuiqingcai.com/7121.html</span>)</span><br><span class="line"><span class="code">    </span></span><br><span class="line"><span class="bullet">*   </span>### [<span class="string">[Python3网络爬虫开发实战</span>] 1.4.2-MongoDB安装](https://cuiqingcai.com/5205.html)</span><br><span class="line"><span class="code">    </span></span><br><span class="line"><span class="bullet">*   </span>### [<span class="string">[Python3网络爬虫开发实战</span>] 1.5.2-PyMongo的安装](https://cuiqingcai.com/5230.html)</span><br><span class="line"><span class="code">    </span></span><br><span class="line"></span><br><span class="line"><span class="section">##   前方高能预警，造！！！：(此时的你已安装了Mongo，并能正常使用mongo。剩下的交给我，我教你好了)</span></span><br><span class="line"></span><br><span class="line"><span class="bullet">1.  </span>### 安装pymongo</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <pre><code>pip install pymongo
<figure class="highlight clean"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br></pre>
                  </td>
                  <td class="code">
                    <pre><span class="line">    </span><br><span class="line"><span class="number">2.</span>  ### 建立连接：在原有的代码基础上改写，添加类似于如下的代码：</span><br></pre>
                  </td>
                  </tr>
                  </table>
                  </figure> MONGO_CONNECTION_STRING = &#39;mongodb://localhost:27017&#39; # MONGO_DB_NAME = &#39;Jobs&#39; # MONGO_COLLECTION_NAME = &#39;Jobs&#39; client = pymongo.MongoClient(MONGO_CONNECTION_STRING) db = client[&#39;Jobs&#39;] collection = db[&#39;Jobs&#39;] <figure class="highlight clean">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">    </span><br><span class="line">    ![](https:<span class="comment">//qiniu.cuiqingcai.com/wp-content/uploads/2020/04/Annotation-2020-04-23-101932.png)</span></span><br><span class="line"><span class="number">3.</span>  ### 新增存储方法：</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure> def save_data(self, date): &quot;&quot;&quot; save to mongodb :param date: :return: &quot;&quot;&quot; collection.update_one({ &#39;name&#39;: date.get(&#39;companyShortName&#39;) }, { &#39;$set&#39;: date }, upsert=True) <figure class="highlight clean">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">    </span><br><span class="line">    ![](https:<span class="comment">//qiniu.cuiqingcai.com/wp-content/uploads/2020/04/微信图片_20200423102245.png)</span></span><br><span class="line"><span class="number">4.</span>  ### 调用此方法：</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure> def main(): p = LaGou() for page in range(1, 31): content = p.scrape(page) data = p.parseResponse(content) download = p.save_data(data) ``` </code></pre>
                  <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/04/微信图片_20200423102818.png" alt=""></p>
                  <h2 id="注意：由于mongo的存储格式为key-：value形式，所以咱们提取到的数据返回也必须是key-：value形式："><a href="#注意：由于mongo的存储格式为key-：value形式，所以咱们提取到的数据返回也必须是key-：value形式：" class="headerlink" title="注意：由于mongo的存储格式为key ：value形式，所以咱们提取到的数据返回也必须是key ：value形式："></a>注意：由于mongo的存储格式为key ：value形式，所以咱们提取到的数据返回也必须是key ：value形式：</h2>
                  <p>看我看我，怎么搞的，我是这样搞的：<img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/04/微信图片_20200423103526.png" alt=""></p>
                  <h2 id="左手叉腰，右手摇，Over！"><a href="#左手叉腰，右手摇，Over！" class="headerlink" title="左手叉腰，右手摇，Over！"></a>左手叉腰，右手摇，Over！</h2>
                  <p><img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/04/微信图片_20200423104337.png" alt=""> <img src="https://qiniu.cuiqingcai.com/wp-content/uploads/2020/04/微信图片_20200423104334.png" alt=""></p>
                  <h3 id="光看文章的话，就算是我自己写的文章单单仅仅看文章也是会云里雾里，建议与源码一起阅读。祝学习进步，心想事成。加油"><a href="#光看文章的话，就算是我自己写的文章单单仅仅看文章也是会云里雾里，建议与源码一起阅读。祝学习进步，心想事成。加油" class="headerlink" title="光看文章的话，就算是我自己写的文章单单仅仅看文章也是会云里雾里，建议与源码一起阅读。祝学习进步，心想事成。加油~"></a>光看文章的话，就算是我自己写的文章单单仅仅看文章也是会云里雾里，建议与源码一起阅读。祝学习进步，心想事成。加油~</h3>
                  <h2 id="写到最后：既然能读到这儿，那么我相信不是白嫖成为习惯的人，说明也或多或少想自己搞一搞。整一整？下次也出来吹吹牛皮，拉钩晓得不，反爬难吧？我会了（虽然对于大佬来说，都可能算不上反扒，和玩似的，这个确实也是的。不过吧，对于新手来说，已经算很难了。）我也是搞过拉勾的男人。找工作就找我，啊哈哈哈。"><a href="#写到最后：既然能读到这儿，那么我相信不是白嫖成为习惯的人，说明也或多或少想自己搞一搞。整一整？下次也出来吹吹牛皮，拉钩晓得不，反爬难吧？我会了（虽然对于大佬来说，都可能算不上反扒，和玩似的，这个确实也是的。不过吧，对于新手来说，已经算很难了。）我也是搞过拉勾的男人。找工作就找我，啊哈哈哈。" class="headerlink" title="写到最后：既然能读到这儿，那么我相信不是白嫖成为习惯的人，说明也或多或少想自己搞一搞。整一整？下次也出来吹吹牛皮，拉钩晓得不，反爬难吧？我会了（虽然对于大佬来说，都可能算不上反扒，和玩似的，这个确实也是的。不过吧，对于新手来说，已经算很难了。）我也是搞过拉勾的男人。找工作就找我，啊哈哈哈。"></a><strong>写到最后：既然能读到这儿，那么我相信不是白嫖成为习惯的人，说明也或多或少想自己搞一搞。整一整？下次也出来吹吹牛皮，拉钩晓得不，反爬难吧？我会了（虽然对于大佬来说，都可能算不上反扒，和玩似的，这个确实也是的。不过吧，对于新手来说，已经算很难了。）我也是搞过拉勾的男人。找工作就找我，啊哈哈哈。</strong></h2>
                  <p>单一的案例终究只会让你局限于本次案例，如果拉钩反爬又更新了。那么这个就会失效。虽然授之以渔了，但终究是“这条小溪”，更大的海洋还需要更加刻苦努力的学习。个人比较建议学习一下</p>
                  <ul>
                    <li>感谢阅读与支持，谢谢</li>
                  </ul>
                  </p>
                </div>
              </div>
              <div class="post-meta">
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-user"></i>
                  </span>
                  <span class="post-meta-item-text">作者</span>
                  <span><a href="/authors/Payne" class="author" itemprop="url" rel="index">Payne</a></span>
                </span>
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-calendar"></i>
                  </span>
                  <span class="post-meta-item-text">发表于</span>
                  <time title="创建时间：2020-04-15 02:19:58" itemprop="dateCreated datePublished" datetime="2020-04-15T02:19:58+08:00">2020-04-15</time>
                </span>
                <span id="/9160.html" class="post-meta-item leancloud_visitors" data-flag-title="LaGou招聘，整一下？" title="阅读次数">
                  <span class="post-meta-item-icon">
                    <i class="fa fa-eye"></i>
                  </span>
                  <span class="post-meta-item-text">阅读次数：</span>
                  <span class="leancloud-visitors-count"></span>
                </span>
                <span class="post-meta-item" title="本文字数">
                  <span class="post-meta-item-icon">
                    <i class="far fa-file-word"></i>
                  </span>
                  <span class="post-meta-item-text">本文字数：</span>
                  <span>5.2k</span>
                </span>
                <span class="post-meta-item" title="阅读时长">
                  <span class="post-meta-item-icon">
                    <i class="far fa-clock"></i>
                  </span>
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                  <span>5 分钟</span>
                </span>
              </div>
            </article>
            <article itemscope itemtype="http://schema.org/Article" class="post-block index" lang="zh-CN">
              <link itemprop="mainEntityOfPage" href="https://cuiqingcai.com/9142.html">
              <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
                <meta itemprop="image" content="/images/avatar.png">
                <meta itemprop="name" content="崔庆才">
                <meta itemprop="description" content="崔庆才的个人站点，记录生活的瞬间，分享学习的心得。">
              </span>
              <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
                <meta itemprop="name" content="静觅">
              </span>
              <header class="post-header">
                <h2 class="post-title" itemprop="name headline">
                  <a class="label"> Python <i class="label-arrow"></i>
                  </a>
                  <a href="/9142.html" class="post-title-link" itemprop="url">meizi图会爬么？不会那我教你好了</a>
                </h2>
              </header>
              <div class="post-body" itemprop="articleBody">
                <div class="thumb">
                  <img itemprop="contentUrl" class="random">
                </div>
                <div class="excerpt">
                  <p>
                  <h1 id="meizi图会爬么？不会那我教你好了"><a href="#meizi图会爬么？不会那我教你好了" class="headerlink" title="meizi图会爬么？不会那我教你好了"></a>meizi图会爬么？不会那我教你好了</h1>
                  <p><strong>声明</strong>：本文由一位知名的不知名Payne原创，转载请注明出处！后优化代码为52讲轻松搞定网络爬虫第一次实战课程为本节代码思路为基础，后自作聪明，书写。 本章节源码仓库为：<a href="https://github.com/Payne-Wu/PythonScrape" target="_blank" rel="noopener">https://github.com/Payne-Wu/PythonScrape</a> 写在最前面：本章适用于新手小白，代码规范化思路。 一言不合直接上代码！具体教程及思路总代码后！ 所用解释器为Python3.7.1，编辑器为Pycharm 2018.3.5. 本着虚心求学，孜孜不倦，逼逼赖赖来这里虚心求学，孜孜不倦，逼逼赖赖，不喜勿喷，嘴下手下脚下都留情。</p>
                  <h1 id="基础源码（我刚自学Python时候写的代码）"><a href="#基础源码（我刚自学Python时候写的代码）" class="headerlink" title="基础源码（我刚自学Python时候写的代码）"></a>基础源码（我刚自学Python时候写的代码）</h1>
                  <p>要爬就爬全站的，一两张一两个还不如另存为来的更加实际。啊哈哈哈</p>
                  <ol>
                    <li>那咱们先来说说Meizitu的基本思路：</li>
                  </ol>
                  <p>个人总结（四步法）：发送请求，　得到响应，　解析数据，　保存数据（比较宏观的概念）</p>
                  <ul>
                    <li>众所周知啊（其实是个人理解）：爬虫本质为模拟浏览器发送请求 ，倒推过来思考 既然是模拟请求，请求地址(URI)总得晓得吧。那么本次请求的URI为以下（单个图册）：<ul>
                        <li>MAIN_URL：<a href="https://www.mzitu.com/" target="_blank" rel="noopener">https://www.mzitu.com/</a></li>
                        <li>Atlas URL：<a href="https://www.mzitu.com/226469" target="_blank" rel="noopener">https://www.mzitu.com/226469</a></li>
                        <li>Specific URL： <a href="https://www.mzitu.com/226469/1" target="_blank" rel="noopener">https://www.mzitu.com/226469/1</a></li>
                      </ul>
                    </li>
                    <li>
                      <p>模拟请求，既然是模拟请求怎么也得，模拟一下吧？被站长大大晓得了那不就被关在门外了。（站长“菇凉”说：“我家是给帅气的小哥哥用户访问的，你个程序来凑一凑不太好吧？”在我脑壳后面敲了敲，后就把我拒之门外，头也不会，扬长而去）经过我苦思冥想，仿佛得到了前所未有的启发，要不我们走走后门，让这个程序做个人？如此甚好。妙哉，妙哉。。。</p>
                      <ul>
                        <li>请求头一带谁都不爱。大叫一声还有谁，于是我就上啊。然而结果确实如此</li>
                        <li>
                          <p>```<br>url = ‘<a href="https://www.mzitu.com/" target="_blank" rel="noopener">https://www.mzitu.com/</a>‘<br>header =<br>{<br>“User-Agent”: “Mozilla/5.0 (Windows NT 10.0; WOW64; rv:66.0) Gecko/20100101 Firefox/66.0”<br>}</p>
                          <p>response = requests.get(url, headers=header) # 请求网页<br>print(response)</p>
                          <figure class="highlight pgsql">
                            <table>
                              <tr>
                                <td class="gutter">
                                  <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br></pre>
                                </td>
                                <td class="code">
                                  <pre><span class="line">        </span><br><span class="line">        reponse&lt;<span class="number">200</span>&gt;</span><br><span class="line">    *   经过我请求，他回应，他回应了爱你你（<span class="number">200</span>），最后咱们握手了。菇凉，咱们还不够了解。需要多了解了解。我还没有成为无敌的男ying，我得多学习学习，争取早日娶你过门。（论一个渣男的锻炼与养成）</span><br><span class="line">    *   好不容易进来了，本着虚心求教，好好学习，天天向上，不谈儿女私情的我，怎么也得有所收获吧。这是？？？渣男的修炼养成计划？这是宝贝啊！！！我得看看，学习学习。</span><br><span class="line">    *   [gallery size="full" <span class="keyword">columns</span>="1" ids="9144"]</span><br><span class="line">    *   这还上锁啦？，这个可不香了。经过研究，一笑  你有你的的张良计，我有我的万能钥匙，Refer钥匙。配置Refer。走着。还不乖乖的。小意思啦。。。。就这样。</span><br><span class="line">    *   [gallery size="full" <span class="keyword">columns</span>="1" ids="9145"]</span><br><span class="line"></span><br><span class="line">虽然不是用的同一张图片，BUT，有无图片是这Refer防盗链作祟的。 **ok，nice。** 各位看官，到这儿咱们也得进入真正的 说了这么多，让我们进入造的环节把，基础四步走，发起请求，得到响应，解析数据，保存！打完收工。 首先咱们是定义了一个自定义的用户代理，优点稳定、简单易于操作，但缺点是比较繁琐。 为什么不用<span class="keyword">from</span> fake_useragent <span class="keyword">import</span> UserAgent 这个主要还是因为这个模块不大稳定，我用的时候经常出错。不晓得是不是我。。。 至少我用的不太爽。而且既然自己阔以造轮子，为何不试着造一造呢？ 说说<span class="keyword">User</span>-Agent构造思路，首先是定义了一个<span class="keyword">User</span>-Agent列表,然后从里面随机取一，作为相对本次<span class="keyword">User</span>—Agent。 优化后的代码是直接定义了一个请求函数，这样如果需要请求是阔以直接调用这个函数，避免代码臃肿。无脑写requests。既不提升效率，也不简洁。还看着懵。有好的自然就要给好的，有时候对自己得好点。 注意请不要忽略异常捕获哦，这样会使咱们的爬虫小伙计更加健壮。爬虫的Strong在于考虑细致，全方面。这样成为一只成年的爬虫，虽然我也不晓得谁说的，我感觉还是蛮有道理的，如果真的没有人说，那就是我吧。。。。 这里是直接定义了一个请求方法，方便需要请求的时候直接调用。即可获得请求的效果</span><br></pre>
                                </td>
                              </tr>
                            </table>
                          </figure>
                          <p>def scrape_page(url):<br>logging.info(‘scraping %s…’, url)</p>
                          <h1 id="header-User-Agent-page"><a href="#header-User-Agent-page" class="headerlink" title="header = User_Agent(page)"></a>header = User_Agent(page)</h1>
                          <p>print(header)<br>try:<br>response = requests.get(url, headers=header)<br>return response.text<br>except TimeoutError as a:<br>logging.error(f”Error time is Out:{a}”)<br>except ReadTimeout as b:<br>logging.error(f”Error ReadTimeout: {b}”)<br>except HTTPError as c:<br>logging.error(f”Error HTTPError: {c}”)<br>except ConnectionError as d:<br>logging.error(f”Error ConnectionError: {d}”)</p>
                          <figure class="highlight plain">
                            <table>
                              <tr>
                                <td class="gutter">
                                  <pre><span class="line">1</span><br><span class="line">2</span><br></pre>
                                </td>
                                <td class="code">
                                  <pre><span class="line"></span><br><span class="line"></span><br></pre>
                                </td>
                              </tr>
                            </table>
                          </figure>
                          <p>def scrape_index(page):<br>index_url = f”{BASE_URL}/page/{page}/“<br>return scrape_page(index_url)</p>
                        </li>
                      </ul>
                    </li>
                  </ul>
                  <p>2.1 解析数据（获得图册的URN）</p>
                  <p>def parse<em>index(html):<br> doc = pq(html)<br> links = doc(‘.postlist #pins &gt; li &gt; span:nth-child(2) &gt; a’)<br> for link in links.items():<br> detail<em>url = link.attr(‘href’)<br> logging.info(‘Got detail<em>url %s’, detail<em>url)<br> yield detail_url<br>def scrape_detail(url):<br> return scrape_page(url)<br>
                            <figure class="highlight vim">
                              <table>
                                <tr>
                                  <td class="gutter">
                                    <pre><span class="line">1</span><br><span class="line">2</span><br></pre>
                                  </td>
                                  <td class="code">
                                    <pre><span class="line"></span><br><span class="line">做个简单的小结： ```<span class="keyword">python</span> def main(page): User_Agent(page) index_html = scrape_index(page) detail_urls = parse_index(index_html) # 循环遍历提取出URI <span class="keyword">for</span> detail_url in detail_urls： 这样就可以得到所有的URI了： ... <span class="number">2020</span>-<span class="number">04</span>-<span class="number">10</span> <span class="number">10</span>:<span class="number">07</span>:<span class="number">42</span>,<span class="number">396</span> - INFO: scraping http<span class="variable">s:</span>//www.mzitu.<span class="keyword">com</span>/<span class="number">206355</span>... <span class="number">2020</span>-<span class="number">04</span>-<span class="number">10</span> <span class="number">10</span>:<span class="number">07</span>:<span class="number">42</span>,<span class="number">703</span> - INFO: Got detail_url http<span class="variable">s:</span>//www.mzitu.<span class="keyword">com</span>/<span class="number">212891</span> <span class="number">2020</span>-<span class="number">04</span>-<span class="number">10</span> <span class="number">10</span>:<span class="number">07</span>:<span class="number">42</span>,<span class="number">703</span> - INFO: scraping http<span class="variable">s:</span>//www.mzitu.<span class="keyword">com</span>/<span class="number">212891</span>... <span class="number">2020</span>-<span class="number">04</span>-<span class="number">10</span> <span class="number">10</span>:<span class="number">07</span>:<span class="number">42</span>,<span class="number">863</span> - INFO: Got detail_url http<span class="variable">s:</span>//www.mzitu.<span class="keyword">com</span>/<span class="number">225494</span> <span class="number">2020</span>-<span class="number">04</span>-<span class="number">10</span> <span class="number">10</span>:<span class="number">07</span>:<span class="number">42</span>,<span class="number">863</span> - INFO: scraping http<span class="variable">s:</span>//www.mzitu.<span class="keyword">com</span>/<span class="number">225494</span>... <span class="number">2020</span>-<span class="number">04</span>-<span class="number">10</span> <span class="number">10</span>:<span class="number">07</span>:<span class="number">42</span>,<span class="number">992</span> - INFO: Got detail_url http<span class="variable">s:</span>//www.mzitu.<span class="keyword">com</span>/<span class="number">226142</span> <span class="number">2020</span>-<span class="number">04</span>-<span class="number">10</span> <span class="number">10</span>:<span class="number">07</span>:<span class="number">42</span>,<span class="number">992</span> - INFO: scraping http<span class="variable">s:</span>//www.mzitu.<span class="keyword">com</span>/<span class="number">226142</span>... <span class="number">2020</span>-<span class="number">04</span>-<span class="number">10</span> <span class="number">10</span>:<span class="number">07</span>:<span class="number">43</span>,<span class="number">172</span> - INFO: Got detail_url http<span class="variable">s:</span>//www.mzitu.<span class="keyword">com</span>/<span class="number">226078</span> <span class="number">2020</span>-<span class="number">04</span>-<span class="number">10</span> <span class="number">10</span>:<span class="number">07</span>:<span class="number">43</span>,<span class="number">173</span> - INFO: scraping http<span class="variable">s:</span>//www.mzitu.<span class="keyword">com</span>/<span class="number">226078</span>... <span class="number">2020</span>-<span class="number">04</span>-<span class="number">10</span> <span class="number">10</span>:<span class="number">07</span>:<span class="number">43</span>,<span class="number">661</span> - INFO: Got detail_url http<span class="variable">s:</span>//www.mzitu.<span class="keyword">com</span>/<span class="number">210338</span> <span class="number">2020</span>-<span class="number">04</span>-<span class="number">10</span> <span class="number">10</span>:<span class="number">07</span>:<span class="number">43</span>,<span class="number">661</span> - INFO: scraping http<span class="variable">s:</span>//www.mzitu.<span class="keyword">com</span>/<span class="number">210338</span>... <span class="number">2020</span>-<span class="number">04</span>-<span class="number">10</span> <span class="number">10</span>:<span class="number">07</span>:<span class="number">43</span>,<span class="number">838</span> - INFO: Got detail_url http<span class="variable">s:</span>//www.mzitu.<span class="keyword">com</span>/<span class="number">225958</span> <span class="number">2020</span>-<span class="number">04</span>-<span class="number">10</span> <span class="number">10</span>:<span class="number">07</span>:<span class="number">43</span>,<span class="number">839</span> - INFO: scraping http<span class="variable">s:</span>//www.mzitu.<span class="keyword">com</span>/<span class="number">225958</span>... <span class="number">2020</span>-<span class="number">04</span>-<span class="number">10</span> <span class="number">10</span>:<span class="number">07</span>:<span class="number">44</span>,<span class="number">003</span> - INFO: Got detail_url http<span class="variable">s:</span>//www.mzitu.<span class="keyword">com</span>/<span class="number">225784</span> <span class="number">2020</span>-<span class="number">04</span>-<span class="number">10</span> <span class="number">10</span>:<span class="number">07</span>:<span class="number">44</span>,<span class="number">004</span> - INFO: scraping http<span class="variable">s:</span>//www.mzitu.<span class="keyword">com</span>/<span class="number">225784</span>... <span class="number">2020</span>-<span class="number">04</span>-<span class="number">10</span> <span class="number">10</span>:<span class="number">07</span>:<span class="number">44</span>,<span class="number">163</span> - INFO: Got detail_url http<span class="variable">s:</span>//www.mzitu.<span class="keyword">com</span>/<span class="number">218827</span> <span class="number">2020</span>-<span class="number">04</span>-<span class="number">10</span> <span class="number">10</span>:<span class="number">07</span>:<span class="number">44</span>,<span class="number">163</span> - INFO: scraping http<span class="variable">s:</span>//www.mzitu.<span class="keyword">com</span>/<span class="number">218827</span>... <span class="number">2020</span>-<span class="number">04</span>-<span class="number">10</span> <span class="number">10</span>:<span class="number">07</span>:<span class="number">44</span>,<span class="number">402</span> - INFO: Got detail_url http<span class="variable">s:</span>//www.mzitu.<span class="keyword">com</span>/<span class="number">213225</span> ... 然后就没有然后了呗 经过发现每个图集里面是后面加上page就是第几张图片，并且张数是不一样的，那怎么样解决呢？ [gallery columns=<span class="string">"1"</span> size=<span class="string">"full"</span> ids=<span class="string">"9146"</span>] [gallery columns=<span class="string">"1"</span> size=<span class="string">"full"</span> ids=<span class="string">"9147"</span>] 多观察几个发现它只显示<span class="number">8</span>个，第七个就是最大的页码数了， 那咱们把他提取出来，作为图集的page，放入循环不就可以拿到任意图集的所有了嘛！经过验证这是可行的。 既然这些又有了，那咱们请求它，存就好啦</span><br></pre>
                                  </td>
                                </tr>
                              </table>
                            </figure><br>if __name
                          </em></em> == ‘__main</em></em>‘:<br>for page in range(1, 2):<br>main(page)<br>
                  <figure class="highlight plain">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"></span><br><span class="line">  最后加入多进程加快速度 改写源码如下</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure><br>import multiprocessing</p>
                  <h1 id="TOTAL-PAGE-为所爬取页数"><a href="#TOTAL-PAGE-为所爬取页数" class="headerlink" title="TOTAL_PAGE 为所爬取页数"></a>TOTAL_PAGE 为所爬取页数</h1>
                  <p>if <strong>name</strong> == ‘<strong>main</strong>‘:<br>pool = multiprocessing.Pool()<br>pages = range(1, TOTAL_PAGE + 1)<br>pool.map(main, pages)<br>pool.close()<br>```</p>
                  <p> <strong>写到最后： 能看到这里，我相信你是非常想学的，</strong>单单看到这里是不可能学会的了，那么如果要去做，阔以尝试着与本章源码一起阅读。希望你能有所收获。 如果想要更好的运用到实际生活中，以爬虫为兴趣，以此为工作。阔以学习崔老师的52讲轻松搞定网络爬虫。祝生活愉快，完事顺心。期待我们下次见面 有问题，有疑问，欢迎在评论区留言，我将知无言，言无不尽。评论区期待你的出现 -Payne</p>
                  </p>
                </div>
              </div>
              <div class="post-meta">
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-user"></i>
                  </span>
                  <span class="post-meta-item-text">作者</span>
                  <span><a href="/authors/Payne" class="author" itemprop="url" rel="index">Payne</a></span>
                </span>
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-calendar"></i>
                  </span>
                  <span class="post-meta-item-text">发表于</span>
                  <time title="创建时间：2020-04-11 03:31:45" itemprop="dateCreated datePublished" datetime="2020-04-11T03:31:45+08:00">2020-04-11</time>
                </span>
                <span id="/9142.html" class="post-meta-item leancloud_visitors" data-flag-title="meizi图会爬么？不会那我教你好了" title="阅读次数">
                  <span class="post-meta-item-icon">
                    <i class="fa fa-eye"></i>
                  </span>
                  <span class="post-meta-item-text">阅读次数：</span>
                  <span class="leancloud-visitors-count"></span>
                </span>
                <span class="post-meta-item" title="本文字数">
                  <span class="post-meta-item-icon">
                    <i class="far fa-file-word"></i>
                  </span>
                  <span class="post-meta-item-text">本文字数：</span>
                  <span>4.6k</span>
                </span>
                <span class="post-meta-item" title="阅读时长">
                  <span class="post-meta-item-icon">
                    <i class="far fa-clock"></i>
                  </span>
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                  <span>4 分钟</span>
                </span>
              </div>
            </article>
            <article itemscope itemtype="http://schema.org/Article" class="post-block index" lang="zh-CN">
              <link itemprop="mainEntityOfPage" href="https://cuiqingcai.com/9136.html">
              <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
                <meta itemprop="image" content="/images/avatar.png">
                <meta itemprop="name" content="崔庆才">
                <meta itemprop="description" content="崔庆才的个人站点，记录生活的瞬间，分享学习的心得。">
              </span>
              <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
                <meta itemprop="name" content="静觅">
              </span>
              <header class="post-header">
                <h2 class="post-title" itemprop="name headline">
                  <a class="label"> 技术杂谈 <i class="label-arrow"></i>
                  </a>
                  <a href="/9136.html" class="post-title-link" itemprop="url">一行代码让网站变成灰色 CSS filter 的用法</a>
                </h2>
              </header>
              <div class="post-body" itemprop="articleBody">
                <div class="thumb">
                  <img itemprop="contentUrl" class="random">
                </div>
                <div class="excerpt">
                  <p>
                  <p>今天是 2020 年 4 月 4 日，星期六，清明节。 想必大家对今年发生的疫情有目共睹，很多英雄为了救助他人在病魔前倒下，更有很多烈士英雄保卫人民的安危遇难，今天全国下降半旗，北京时间 10 点全国默哀三分钟，来致敬英雄们。同时今天一切公共娱乐活动也都会停止，包括直播、综艺、影视、游戏等等。 我也在这里也向全国抗击新冠肺炎疫情斗争牺牲的烈士和逝世的同胞表达深切的哀悼，向所有在抗战在疫情前线的工作和医护人员致敬。</p>
                  <h2 id="网站变灰"><a href="#网站变灰" class="headerlink" title="网站变灰"></a>网站变灰</h2>
                  <p>今天大家可以看到很多很多网站包括主页和内容也都已经变成了灰色，比如百度、B 站、爱奇艺、CSDN 等等。 <img src="https://qiniu.cuiqingcai.com/2020-04-04-044643.png" alt="CSDN"> <img src="https://qiniu.cuiqingcai.com/2020-04-04-044651.png" alt="爱奇艺"> <img src="https://qiniu.cuiqingcai.com/2020-04-04-044830.png" alt="百度"> 大家可以看到全站的内容都变成灰色了，包括按钮、图片等等。这时候我们可能会好奇这是怎么做到的呢？ 有人会以为所有的内容都统一换了一个 CSS 样式，图片也全换成灰色的了，按钮等样式也统一换成了灰色样式。但你想想这个成本也太高了，而且万一某个控件忘记加灰色样式了岂不是太突兀了。 其实，解决方案很简单，只需要几行代码就能搞定了。</p>
                  <h2 id="实现"><a href="#实现" class="headerlink" title="实现"></a>实现</h2>
                  <p>我们选择一个网站，比如 B 站吧，打开浏览器开发者工具。 审查一下网页的源代码，我们可以发现在 html 的这个地方多了一个疑似的 class，叫做 gray，gray 中文即灰色。 <img src="https://qiniu.cuiqingcai.com/2020-04-04-045630.png" alt="变灰效果"> 其 CSS 内容为：</p>
                  <figure class="highlight css">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="selector-tag">html</span><span class="selector-class">.gray</span> &#123;</span><br><span class="line">    <span class="attribute">-webkit-filter</span>: <span class="built_in">grayscale</span>(.<span class="number">95</span>);</span><br><span class="line">&#125;</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>我们将其取消，就能发现网站的颜色就能重新还原回来了。 <img src="https://qiniu.cuiqingcai.com/2020-04-04-045725.png" alt="还原效果"> 果然是这个样式在起作用，而且是全局的效果，因为它是作用在了 html 这个节点之上的。 另外看看 CSDN，它也是用的这个 CSS 样式，其内容为：</p>
                  <figure class="highlight css">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="selector-tag">html</span> &#123;</span><br><span class="line">    <span class="attribute">-webkit-filter</span>: <span class="built_in">grayscale</span>(<span class="number">100%</span>);</span><br><span class="line">    <span class="attribute">-moz-filter</span>: <span class="built_in">grayscale</span>(<span class="number">100%</span>);</span><br><span class="line">    <span class="attribute">-ms-filter</span>: <span class="built_in">grayscale</span>(<span class="number">100%</span>);</span><br><span class="line">    <span class="attribute">-o-filter</span>: <span class="built_in">grayscale</span>(<span class="number">100%</span>);</span><br><span class="line">    <span class="attribute">filter</span>: <span class="built_in">grayscale</span>(<span class="number">100%</span>);</span><br><span class="line">    <span class="attribute">filter</span>: progid:DXImageTransform.Microsoft.<span class="built_in">BasicImage</span>(grayscale=<span class="number">1</span>);</span><br><span class="line">&#125;</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>这个实现看起来兼容性会更好一些。 因此我们可以确定，通过一个全局的 CSS 样式就能将整个网站变成灰色效果。</p>
                  <h2 id="分析"><a href="#分析" class="headerlink" title="分析"></a>分析</h2>
                  <p>那么这里我们就来详细了解一下这究竟是一个什么样的 CSS 样式。 这个样式名叫做 filter，搜下 MDN 的官方介绍，其链接为：<a href="https://developer.mozilla.org/zh-CN/docs/Web/CSS/filter" target="_blank" rel="noopener">https://developer.mozilla.org/zh-CN/docs/Web/CSS/filter</a>。 官方介绍内容如下：</p>
                  <blockquote>
                    <p><strong><code>filter</code></strong> CSS 属性将模糊或颜色偏移等图形效果应用于元素。滤镜通常用于调整图像，背景和边框的渲染。 CSS 标准里包含了一些已实现预定义效果的函数。你也可以参考一个 SVG 滤镜，通过一个 URL 链接到 SVG 滤镜元素 (<a href="https://developer.mozilla.org/en-US/docs/Web/SVG/Element/filter" target="_blank" rel="noopener">SVG filter element</a>)。</p>
                  </blockquote>
                  <p>其实就是一个滤镜的意思。 官方有一个 Demo，可以看下效果，如图所示。 <img src="https://qiniu.cuiqingcai.com/2020-04-04-052329.gif" alt="Demo"> 比如这里通过 filter 样式改变了图片、颜色、模糊、对比度等等信息。 其所有用法示例如下：</p>
                  <figure class="highlight scss">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br><span class="line">21</span><br><span class="line">22</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="comment">/* URL to SVG filter */</span></span><br><span class="line"><span class="attribute">filter</span>: url(<span class="string">"filters.svg#filter-id"</span>);</span><br><span class="line"></span><br><span class="line"><span class="comment">/* &lt;filter-function&gt; values */</span></span><br><span class="line"><span class="attribute">filter</span>: blur(<span class="number">5px</span>);</span><br><span class="line"><span class="attribute">filter</span>: brightness(<span class="number">0.4</span>);</span><br><span class="line"><span class="attribute">filter</span>: contrast(<span class="number">200%</span>);</span><br><span class="line"><span class="attribute">filter</span>: drop-shadow(<span class="number">16px</span> <span class="number">16px</span> <span class="number">20px</span> blue);</span><br><span class="line"><span class="attribute">filter</span>: grayscale(<span class="number">50%</span>);</span><br><span class="line"><span class="attribute">filter</span>: hue-rotate(<span class="number">90deg</span>);</span><br><span class="line"><span class="attribute">filter</span>: invert(<span class="number">75%</span>);</span><br><span class="line"><span class="attribute">filter</span>: opacity(<span class="number">25%</span>);</span><br><span class="line"><span class="attribute">filter</span>: saturate(<span class="number">30%</span>);</span><br><span class="line"><span class="attribute">filter</span>: sepia(<span class="number">60%</span>);</span><br><span class="line"></span><br><span class="line"><span class="comment">/* Multiple filters */</span></span><br><span class="line"><span class="attribute">filter</span>: contrast(<span class="number">175%</span>) brightness(<span class="number">3%</span>);</span><br><span class="line"></span><br><span class="line"><span class="comment">/* Global values */</span></span><br><span class="line"><span class="attribute">filter</span>: inherit;</span><br><span class="line"><span class="attribute">filter</span>: initial;</span><br><span class="line"><span class="attribute">filter</span>: unset;</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>各个用法介绍大家可以参考官方的文档说明：<a href="https://developer.mozilla.org/zh-CN/docs/Web/CSS/filter" target="_blank" rel="noopener">https://developer.mozilla.org/zh-CN/docs/Web/CSS/filter</a> 比如这里如果我们可以使用 blur 设置高斯模糊，用法如下：</p>
                  <figure class="highlight isbl">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="variable">filter</span>: <span class="function"><span class="title">blur</span>(<span class="variable">radius</span>)</span></span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>给图像设置高斯模糊。radius 一值设定高斯函数的标准差，或者是屏幕上以多少像素融在一起，所以值越大越模糊；如果没有设定值，则默认是 0；这个参数可设置绝对像素值，但不接受百分比值。 可以达成这样的效果： <img src="https://qiniu.cuiqingcai.com/2020-04-04-052851.png" alt="效果"> 再说回刚才的灰色图像，这里其实就是设置了 grayscale，其用法如下：</p>
                  <figure class="highlight isbl">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="variable">filter</span>: <span class="function"><span class="title">grayscale</span>(<span class="variable">percent</span>)</span></span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>将图像转换为灰度图像。值定义转换的比例。percent 值为 100% 则完全转为灰度图像，值为 0% 图像无变化。值在 0% 到 100% 之间，则是效果的线性乘子。若未设置，值默认是 0。另外除了传递百分比，还可以传递浮点数，效果是一样的。 如：</p>
                  <figure class="highlight mel">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="keyword">filter</span>: grayscale(<span class="number">1</span>)</span><br><span class="line"><span class="keyword">filter</span>: grayscale(<span class="number">100</span>%)</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>都可以将节点转化为 100% 的灰度模式。 所以一切到这里就清楚了，如果我们想要把全站变成灰色，再考虑到各浏览器兼容写法，可以参考下 CSDN 的写法：</p>
                  <figure class="highlight css">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="selector-class">.gray</span> &#123;</span><br><span class="line">    <span class="attribute">-webkit-filter</span>: <span class="built_in">grayscale</span>(<span class="number">100%</span>);</span><br><span class="line">    <span class="attribute">-moz-filter</span>: <span class="built_in">grayscale</span>(<span class="number">100%</span>);</span><br><span class="line">    <span class="attribute">-ms-filter</span>: <span class="built_in">grayscale</span>(<span class="number">100%</span>);</span><br><span class="line">    <span class="attribute">-o-filter</span>: <span class="built_in">grayscale</span>(<span class="number">100%</span>);</span><br><span class="line">    <span class="attribute">filter</span>: <span class="built_in">grayscale</span>(<span class="number">100%</span>);</span><br><span class="line">    <span class="attribute">filter</span>: progid:DXImageTransform.Microsoft.<span class="built_in">BasicImage</span>(grayscale=<span class="number">1</span>);</span><br><span class="line">&#125;</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>这样想要变灰的节点只需要加上 gray 这个 class 就好了，比如加到 html 节点上就可以全站变灰了。 最后呢，看一下浏览器对 filter 这个样式的兼容性怎样，如图所示： <img src="https://qiniu.cuiqingcai.com/2020-04-04-053339.png" alt="兼容性"> 这里我们看到，这里除了 IE，其他的 PC、手机端的浏览器都支持了，Firefox 的 PC、安卓端还单独对 SVG 图像加了支持，可以放心使用。</p>
                  <h2 id="总结"><a href="#总结" class="headerlink" title="总结"></a>总结</h2>
                  <p>本篇文章简单介绍了一下今天观察到的网站变灰的实现，也学习了 filter 的更详细的用法，希望有帮助。</p>
                  </p>
                </div>
              </div>
              <div class="post-meta">
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-user"></i>
                  </span>
                  <span class="post-meta-item-text">作者</span>
                  <span><a href="/authors/崔庆才" class="author" itemprop="url" rel="index">崔庆才</a></span>
                </span>
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-calendar"></i>
                  </span>
                  <span class="post-meta-item-text">发表于</span>
                  <time title="创建时间：2020-04-09 15:03:09" itemprop="dateCreated datePublished" datetime="2020-04-09T15:03:09+08:00">2020-04-09</time>
                </span>
                <span id="/9136.html" class="post-meta-item leancloud_visitors" data-flag-title="一行代码让网站变成灰色 CSS filter 的用法" title="阅读次数">
                  <span class="post-meta-item-icon">
                    <i class="fa fa-eye"></i>
                  </span>
                  <span class="post-meta-item-text">阅读次数：</span>
                  <span class="leancloud-visitors-count"></span>
                </span>
                <span class="post-meta-item" title="本文字数">
                  <span class="post-meta-item-icon">
                    <i class="far fa-file-word"></i>
                  </span>
                  <span class="post-meta-item-text">本文字数：</span>
                  <span>2.7k</span>
                </span>
                <span class="post-meta-item" title="阅读时长">
                  <span class="post-meta-item-icon">
                    <i class="far fa-clock"></i>
                  </span>
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                  <span>2 分钟</span>
                </span>
              </div>
            </article>
            <article itemscope itemtype="http://schema.org/Article" class="post-block index" lang="zh-CN">
              <link itemprop="mainEntityOfPage" href="https://cuiqingcai.com/9134.html">
              <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
                <meta itemprop="image" content="/images/avatar.png">
                <meta itemprop="name" content="崔庆才">
                <meta itemprop="description" content="崔庆才的个人站点，记录生活的瞬间，分享学习的心得。">
              </span>
              <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
                <meta itemprop="name" content="静觅">
              </span>
              <header class="post-header">
                <h2 class="post-title" itemprop="name headline">
                  <a class="label"> 技术杂谈 <i class="label-arrow"></i>
                  </a>
                  <a href="/9134.html" class="post-title-link" itemprop="url">Python 中异常处理库 merry 的用法</a>
                </h2>
              </header>
              <div class="post-body" itemprop="articleBody">
                <div class="thumb">
                  <img itemprop="contentUrl" class="random">
                </div>
                <div class="excerpt">
                  <p>
                  <p>写程序时，异常处理是在所难免的，但你有没有考虑过怎样让异常处理机制变得扩展性更好，让写法更优雅呢？</p>
                  <h2 id="实例引入"><a href="#实例引入" class="headerlink" title="实例引入"></a>实例引入</h2>
                  <p>比如写 Python 的时候，举个最简单的算术运算和文件写入的例子，代码如下：</p>
                  <figure class="highlight livecodeserver">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">def <span class="built_in">process</span>(num1, num2, <span class="built_in">file</span>):</span><br><span class="line">    <span class="built_in">result</span> = num1 / num2</span><br><span class="line">    <span class="keyword">with</span> <span class="built_in">open</span>(<span class="built_in">file</span>, <span class="string">'w'</span>, encoding=<span class="string">'utf-8'</span>) <span class="keyword">as</span> f:</span><br><span class="line">        f.<span class="built_in">write</span>(str(<span class="built_in">result</span>))</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>这里我们定义了一个 process 方法，接收三个参数，前两个参数是 num1 和 num2，第三个参数是 file。这个方法会首先将 num1 除以 num2，然后把除法的结果写入到 file 文件里面。 好，就这么一个简单的操作，但是这个实现真的是漏洞百出：</p>
                  <ul>
                    <li>没有判断 num1、num2 的类型，如果不是数字类型，那会抛出 TypeError。</li>
                    <li>没有判断 num2 是不是 0，如果是 0，那么会抛出 ZeroDivisionError。</li>
                    <li>没有判断文件路径是否存在，如果是子文件夹下的路径，文件夹不存在的话，会抛出 FileNotFoundError。</li>
                  </ul>
                  <p>一些异常测试用例如下：</p>
                  <figure class="highlight stylus">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="function"><span class="title">process</span><span class="params">(<span class="number">1</span>, <span class="number">2</span>, <span class="string">'result/result.txt'</span>)</span></span></span><br><span class="line"><span class="function"><span class="title">process</span><span class="params">(<span class="number">1</span>, <span class="number">0</span>, <span class="string">'result.txt'</span>)</span></span></span><br><span class="line"><span class="function"><span class="title">process</span><span class="params">(<span class="number">1</span>, [<span class="number">2</span>], <span class="string">'result.txt'</span>)</span></span></span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>这些用例跑起来一定是会报错的。如果面试写出来这个代码，肯定就挂了。 当然最好的方式是通过一些判断条件把一些该处理的问题和判定都加上。 但这里我们为了说异常处理，如果把这几类的错误都进行异常处理的话，会写成什么样子呢？ 由于 Python 的语法是有缩进的，所以我们可能会首先将这些代码缩进四个空格，然后外面包上一个 try 和 except，可能写成这个样子：</p>
                  <figure class="highlight python">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="function"><span class="keyword">def</span> <span class="title">process</span><span class="params">(num1, num2, file)</span>:</span></span><br><span class="line">    <span class="keyword">try</span>:</span><br><span class="line">        result = num1 / num2</span><br><span class="line">        <span class="keyword">with</span> open(file, <span class="string">'w'</span>, encoding=<span class="string">'utf-8'</span>) <span class="keyword">as</span> f:</span><br><span class="line">            f.write(str(result))</span><br><span class="line">    <span class="keyword">except</span> ZeroDivisionError:</span><br><span class="line">        print(<span class="string">f'<span class="subst">&#123;num2&#125;</span> can not be zero'</span>)</span><br><span class="line">    <span class="keyword">except</span> FileNotFoundError:</span><br><span class="line">        print(<span class="string">f'file <span class="subst">&#123;file&#125;</span> not found'</span>)</span><br><span class="line">    <span class="keyword">except</span> Exception <span class="keyword">as</span> e:</span><br><span class="line">        print(<span class="string">f'exception, <span class="subst">&#123;e.args&#125;</span>'</span>)</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>这时候我们观察到了什么问题？</p>
                  <ul>
                    <li>代码一下子臃肿了起来，这里的异常处理都没有实现，仅仅是 print 了一些错误信息，但现在可以看到我们的异常处理代码可能比主逻辑还要多。</li>
                    <li>主逻辑代码整块被硬生生地缩进进去了，如果主逻辑代码比较多的话，那么会有大片大片的缩进。</li>
                    <li>如果再有相同的逻辑的代码，难道要再写一次 try except 这一坨代码吗？</li>
                  </ul>
                  <p>可能很多人都在面临这样的困扰，觉得代码很难看但又不知道怎么修改。 当然上面的代码写法本身就不好，有几种改善的方案：</p>
                  <ul>
                    <li>本身这个场景不需要这么多异常处理，使用判断条件把一些意外情况处理掉就好。</li>
                    <li>异常处理本身就不应该这么写，每个功能区域应该和异常处理单独分开，另外各个逻辑模块建议再分方法解耦。</li>
                    <li>使用 retrying 模块检测异常并进行重试。</li>
                    <li>使用上下文管理器 raise_api_error 来声明异常处理。</li>
                  </ul>
                  <p>但上面的一些解决方案其实还不能彻底解决代码复用和美观上的问题，比如某一类的异常处理我就统一在一个地方处理，另外我的任何代码都不想因为异常处理产生缩进。 那对于这样的问题，有没有解决方案呢？有。 下面我们来了解一个库，叫做 Merry。</p>
                  <h2 id="Merry"><a href="#Merry" class="headerlink" title="Merry"></a>Merry</h2>
                  <p>Merry，这个库是 Python 的一个第三方库，非常小巧，它实现了几个装饰器。通过使用 Merry 我们可以把异常检查和异常处理的代码分开，并可以通过装饰器来定义异常检查和处理的逻辑。 GitHub 地址：<a href="https://github.com/miguelgrinberg/merry，这个库的安装非常简单，使用" target="_blank" rel="noopener">https://github.com/miguelgrinberg/merry，这个库的安装非常简单，使用</a> pip3 安装即可：</p>
                  <figure class="highlight cmake">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">pip3 <span class="keyword">install</span> merry</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>有了这个库之后，上面的异常检查代码我们就可以这么来实现了，代码如下：</p>
                  <figure class="highlight python">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br><span class="line">21</span><br><span class="line">22</span><br><span class="line">23</span><br><span class="line">24</span><br><span class="line">25</span><br><span class="line">26</span><br><span class="line">27</span><br><span class="line">28</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="keyword">from</span> merry <span class="keyword">import</span> Merry</span><br><span class="line"></span><br><span class="line">merry = Merry()</span><br><span class="line">merry.logger.disabled = <span class="literal">True</span></span><br><span class="line"></span><br><span class="line"><span class="meta">@merry._try</span></span><br><span class="line"><span class="function"><span class="keyword">def</span> <span class="title">process</span><span class="params">(num1, num2, file)</span>:</span></span><br><span class="line">    result = num1 / num2</span><br><span class="line">    <span class="keyword">with</span> open(file, <span class="string">'w'</span>, encoding=<span class="string">'utf-8'</span>) <span class="keyword">as</span> f:</span><br><span class="line">        f.write(str(result))</span><br><span class="line"></span><br><span class="line"><span class="meta">@merry._except(ZeroDivisionError)</span></span><br><span class="line"><span class="function"><span class="keyword">def</span> <span class="title">process_zero_division_error</span><span class="params">(e)</span>:</span></span><br><span class="line">    print(<span class="string">'zero_division_error'</span>, e)</span><br><span class="line"></span><br><span class="line"><span class="meta">@merry._except(FileNotFoundError)</span></span><br><span class="line"><span class="function"><span class="keyword">def</span> <span class="title">process_file_not_found_error</span><span class="params">(e)</span>:</span></span><br><span class="line">    print(<span class="string">'file_not_found_error'</span>, e)</span><br><span class="line"></span><br><span class="line"><span class="meta">@merry._except(Exception)</span></span><br><span class="line"><span class="function"><span class="keyword">def</span> <span class="title">process_exception</span><span class="params">(e)</span>:</span></span><br><span class="line">    print(<span class="string">'exception'</span>, type(e), e)</span><br><span class="line"></span><br><span class="line"><span class="keyword">if</span> __name__ == <span class="string">'__main__'</span>:</span><br><span class="line">    process(<span class="number">1</span>, <span class="number">2</span>, <span class="string">'result/result.txt'</span>)</span><br><span class="line">    process(<span class="number">1</span>, <span class="number">0</span>, <span class="string">'result.txt'</span>)</span><br><span class="line">    process(<span class="number">1</span>, <span class="number">2</span>, <span class="string">'result.txt'</span>)</span><br><span class="line">    process(<span class="number">1</span>, [<span class="number">1</span>], <span class="string">'result.txt'</span>)</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>这里我们可以看到，我们首先声明了一个 Merry 对象，然后 process 方法加上 merry 对象的 _try 方法的装饰器，这样就实现了异常的监听。 有了异常监听之后，怎么来进行异常处理呢？还是通过同一个 merry 对象，使用其 _except 方法作为装饰器即可。比如这里我们将几个异常处理方法分开了，如处理 ZeroDivisionError、FileNotFoundError、Exception 等异常分别都有一个方法的声明，分别加上对应的装饰器即可。 这样的话，我们就轻松实现了异常监听和处理了。 和上面比有什么不同呢？</p>
                  <ul>
                    <li>主逻辑里面不用额外加异常处理代码了，显得简洁。</li>
                    <li>主逻辑不用因为 try except 而缩进了。</li>
                    <li>每个异常处理方法单独分开了，可以实现解耦和重用。</li>
                  </ul>
                  <p>整个实现就舒服多了。 运行一下上面的代码，输出结果如下：</p>
                  <figure class="highlight angelscript">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">file_not_found_error [Errno <span class="number">2</span>] No such file <span class="keyword">or</span> directory: <span class="string">'result/result.txt'</span></span><br><span class="line">zero_division_error division by zero</span><br><span class="line">exception &lt;<span class="keyword">class</span> '<span class="symbol">TypeError</span>'&gt; <span class="symbol">unsupported</span> <span class="symbol">operand</span> <span class="symbol">type</span>(<span class="symbol">s</span>) <span class="symbol">for</span> /: '<span class="symbol">int</span>' <span class="symbol">and</span> '<span class="symbol">list</span>'</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>完全没问题，可以看到每个异常都被正常地捕获到了。 舒服，代码变得更优雅了。</p>
                  <h2 id="类实现"><a href="#类实现" class="headerlink" title="类实现"></a>类实现</h2>
                  <p>虽然上面的实现相比最初已经好了很多了，但是整个看起来结构比较松散，代码不好复用，能不能把它封装成一个类来实现呢？ 如果封装好了类之后，我们就可以直接把类拿过来使用，实现的时候继承这个类，就不用再关心各个异常处理是怎么实现的了。 在这里一个简单的实现如下：</p>
                  <figure class="highlight python">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br><span class="line">21</span><br><span class="line">22</span><br><span class="line">23</span><br><span class="line">24</span><br><span class="line">25</span><br><span class="line">26</span><br><span class="line">27</span><br><span class="line">28</span><br><span class="line">29</span><br><span class="line">30</span><br><span class="line">31</span><br><span class="line">32</span><br><span class="line">33</span><br><span class="line">34</span><br><span class="line">35</span><br><span class="line">36</span><br><span class="line">37</span><br><span class="line">38</span><br><span class="line">39</span><br><span class="line">40</span><br><span class="line">41</span><br><span class="line">42</span><br><span class="line">43</span><br><span class="line">44</span><br><span class="line">45</span><br><span class="line">46</span><br><span class="line">47</span><br><span class="line">48</span><br><span class="line">49</span><br><span class="line">50</span><br><span class="line">51</span><br><span class="line">52</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="keyword">import</span> requests</span><br><span class="line"><span class="keyword">from</span> merry <span class="keyword">import</span> Merry</span><br><span class="line"><span class="keyword">from</span> requests <span class="keyword">import</span> ConnectTimeout</span><br><span class="line"></span><br><span class="line">merry = Merry()</span><br><span class="line">merry.logger.disabled = <span class="literal">True</span></span><br><span class="line">catch = merry._try</span><br><span class="line"></span><br><span class="line"><span class="class"><span class="keyword">class</span> <span class="title">BaseClass</span><span class="params">(object)</span>:</span></span><br><span class="line"></span><br><span class="line"><span class="meta">    @staticmethod</span></span><br><span class="line"><span class="meta">    @merry._except(ZeroDivisionError)</span></span><br><span class="line">    <span class="function"><span class="keyword">def</span> <span class="title">process_zero_division_error</span><span class="params">(e)</span>:</span></span><br><span class="line">        print(<span class="string">'zero_division_error'</span>, e)</span><br><span class="line"></span><br><span class="line"><span class="meta">    @staticmethod</span></span><br><span class="line"><span class="meta">    @merry._except(FileNotFoundError)</span></span><br><span class="line">    <span class="function"><span class="keyword">def</span> <span class="title">process_file_not_found_error</span><span class="params">(e)</span>:</span></span><br><span class="line">        print(<span class="string">'file_not_found_error'</span>, e)</span><br><span class="line"></span><br><span class="line"><span class="meta">    @staticmethod</span></span><br><span class="line"><span class="meta">    @merry._except(Exception)</span></span><br><span class="line">    <span class="function"><span class="keyword">def</span> <span class="title">process_exception</span><span class="params">(e)</span>:</span></span><br><span class="line">        print(<span class="string">'exception'</span>, type(e), e)</span><br><span class="line"></span><br><span class="line"><span class="meta">    @staticmethod</span></span><br><span class="line"><span class="meta">    @merry._except(ConnectTimeout)</span></span><br><span class="line">    <span class="function"><span class="keyword">def</span> <span class="title">process_connect_timeout</span><span class="params">(e)</span>:</span></span><br><span class="line">        print(<span class="string">'connect_timeout'</span>, e)</span><br><span class="line"></span><br><span class="line"><span class="class"><span class="keyword">class</span> <span class="title">Calculator</span><span class="params">(BaseClass)</span>:</span></span><br><span class="line"></span><br><span class="line"><span class="meta">    @catch</span></span><br><span class="line">    <span class="function"><span class="keyword">def</span> <span class="title">process</span><span class="params">(self, num1, num2, file)</span>:</span></span><br><span class="line">        result = num1 / num2</span><br><span class="line">        <span class="keyword">with</span> open(file, <span class="string">'w'</span>, encoding=<span class="string">'utf-8'</span>) <span class="keyword">as</span> f:</span><br><span class="line">            f.write(str(result))</span><br><span class="line"></span><br><span class="line"><span class="class"><span class="keyword">class</span> <span class="title">Fetcher</span><span class="params">(BaseClass)</span>:</span></span><br><span class="line"></span><br><span class="line"><span class="meta">    @catch</span></span><br><span class="line">    <span class="function"><span class="keyword">def</span> <span class="title">process</span><span class="params">(self, url)</span>:</span></span><br><span class="line">        response = requests.get(url, timeout=<span class="number">1</span>)</span><br><span class="line">        <span class="keyword">if</span> response.status_code == <span class="number">200</span>:</span><br><span class="line">            print(response.text)</span><br><span class="line"></span><br><span class="line"><span class="keyword">if</span> __name__ == <span class="string">'__main__'</span>:</span><br><span class="line">    c = Calculator()</span><br><span class="line">    c.process(<span class="number">1</span>, <span class="number">0</span>, <span class="string">'result.txt'</span>)</span><br><span class="line"></span><br><span class="line">    f = Fetcher()</span><br><span class="line">    f.process(<span class="string">'http://notfound.com'</span>)</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>这里我们看到，我们先实现了一个 BaseClass，里面通过 merry 定义了好多个异常处理方法和处理流程，异常处理方法定义成 staticmethod。 接着我们定义了两个类，一个是 Calculator，一个是 Fetcher，分别完成不同的功能，一个是计算，一个是抓取网页。另外 Merry 的 _try 方法我们给它取了个别名，比如叫做 catch，显得更简洁。 在 process 方法中，我们我们想要进行异常处理，那么就加上 @catch 这装饰器就好了，其他的不需要管。 这样，我们在实现子类的时候，只需要集成 BaseClass 然后实现对应的方法就好了，如果想加上异常处理就加个装饰器，也无需再关心 Merry 的具体实现，父类都帮我们实现好了，这样就方便多了。 运行结果如下：</p>
                  <figure class="highlight reasonml">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line">zero_division_error division by zero</span><br><span class="line">connect_timeout <span class="constructor">HTTPConnectionPool(<span class="params">host</span>='<span class="params">notfound</span>.<span class="params">com</span>', <span class="params">port</span>=80)</span>: Max retries exceeded <span class="keyword">with</span> url:<span class="operator"> / </span>(Caused by <span class="constructor">ConnectTimeoutError(&lt;<span class="params">urllib3</span>.<span class="params">connection</span>.HTTPConnection <span class="params">object</span> <span class="params">at</span> 0x10d5b9310&gt;, 'Connection <span class="params">to</span> <span class="params">notfound</span>.<span class="params">com</span> <span class="params">timed</span> <span class="params">out</span>. (<span class="params">connect</span> <span class="params">timeout</span>=1)</span>'))</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>运行之后我们发现也正常输出了对应的错误信息。</p>
                  <h2 id="数据传递"><a href="#数据传递" class="headerlink" title="数据传递"></a>数据传递</h2>
                  <p>有人会问了，利用 try except 我们可以直接获取异常代码的变量信息，分了方法之后，一些上下文的变量不就拿不到了吗？ 这的确是个问题，Merry 是用了一个全局的变量来解决的，它使用了 merry.g 这个对象来存储上下文的变量，在 主逻辑方法里面要把想要传递的参数赋值进去，在异常处理的方法里面再用 merry.g 取出来，官方示例写法如下：</p>
                  <figure class="highlight python">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="meta">@merry._try</span></span><br><span class="line"><span class="function"><span class="keyword">def</span> <span class="title">app_logic</span><span class="params">()</span>:</span></span><br><span class="line">    db = open_database()</span><br><span class="line">    merry.g.database = db  <span class="comment"># save it in the error context just in case</span></span><br><span class="line">    <span class="comment"># do database stuff here</span></span><br><span class="line"></span><br><span class="line"><span class="meta">@merry._except(Exception)</span></span><br><span class="line"><span class="function"><span class="keyword">def</span> <span class="title">catch_all</span><span class="params">()</span>:</span></span><br><span class="line">    db = getattr(merry.g, <span class="string">'database'</span>, <span class="literal">None</span>)</span><br><span class="line">    <span class="keyword">if</span> db <span class="keyword">is</span> <span class="keyword">not</span> <span class="literal">None</span> <span class="keyword">and</span> is_database_open(db):</span><br><span class="line">        close_database(db)</span><br><span class="line">    print(<span class="string">'Unexpected error, quitting'</span>)</span><br><span class="line">    sys.exit(<span class="number">1</span>)</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>但我个人觉得这个写法很鸡肋，我个人觉得应该能获取主逻辑方法里面的 context 对象，context 里面包含了主逻辑方法里面的变量状态，然后异常处理的方法的某个参数可以接收到这个 context 对象，就能直接获取变量值了。 不过这只是个个人想法，还没有实现，有兴趣的朋友可以试试。</p>
                  <h2 id="源码剖析"><a href="#源码剖析" class="headerlink" title="源码剖析"></a>源码剖析</h2>
                  <p>最后，我们来看看它的源码吧，其实源码就这么多：</p>
                  <figure class="highlight python">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br><span class="line">21</span><br><span class="line">22</span><br><span class="line">23</span><br><span class="line">24</span><br><span class="line">25</span><br><span class="line">26</span><br><span class="line">27</span><br><span class="line">28</span><br><span class="line">29</span><br><span class="line">30</span><br><span class="line">31</span><br><span class="line">32</span><br><span class="line">33</span><br><span class="line">34</span><br><span class="line">35</span><br><span class="line">36</span><br><span class="line">37</span><br><span class="line">38</span><br><span class="line">39</span><br><span class="line">40</span><br><span class="line">41</span><br><span class="line">42</span><br><span class="line">43</span><br><span class="line">44</span><br><span class="line">45</span><br><span class="line">46</span><br><span class="line">47</span><br><span class="line">48</span><br><span class="line">49</span><br><span class="line">50</span><br><span class="line">51</span><br><span class="line">52</span><br><span class="line">53</span><br><span class="line">54</span><br><span class="line">55</span><br><span class="line">56</span><br><span class="line">57</span><br><span class="line">58</span><br><span class="line">59</span><br><span class="line">60</span><br><span class="line">61</span><br><span class="line">62</span><br><span class="line">63</span><br><span class="line">64</span><br><span class="line">65</span><br><span class="line">66</span><br><span class="line">67</span><br><span class="line">68</span><br><span class="line">69</span><br><span class="line">70</span><br><span class="line">71</span><br><span class="line">72</span><br><span class="line">73</span><br><span class="line">74</span><br><span class="line">75</span><br><span class="line">76</span><br><span class="line">77</span><br><span class="line">78</span><br><span class="line">79</span><br><span class="line">80</span><br><span class="line">81</span><br><span class="line">82</span><br><span class="line">83</span><br><span class="line">84</span><br><span class="line">85</span><br><span class="line">86</span><br><span class="line">87</span><br><span class="line">88</span><br><span class="line">89</span><br><span class="line">90</span><br><span class="line">91</span><br><span class="line">92</span><br><span class="line">93</span><br><span class="line">94</span><br><span class="line">95</span><br><span class="line">96</span><br><span class="line">97</span><br><span class="line">98</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="keyword">from</span> functools <span class="keyword">import</span> wraps</span><br><span class="line"><span class="keyword">import</span> inspect</span><br><span class="line"><span class="keyword">import</span> logging</span><br><span class="line"></span><br><span class="line">getargspec = <span class="literal">None</span></span><br><span class="line"><span class="keyword">if</span> getattr(inspect, <span class="string">'getfullargspec'</span>, <span class="literal">None</span>):</span><br><span class="line">    getargspec = inspect.getfullargspec</span><br><span class="line"><span class="keyword">else</span>:</span><br><span class="line">    <span class="comment"># this one is deprecated in Python 3, but available in Python 2</span></span><br><span class="line">    getargspec = inspect.getargspec</span><br><span class="line"></span><br><span class="line"><span class="class"><span class="keyword">class</span> <span class="title">_Namespace</span>:</span></span><br><span class="line">    <span class="keyword">pass</span></span><br><span class="line"></span><br><span class="line"><span class="class"><span class="keyword">class</span> <span class="title">Merry</span><span class="params">(object)</span>:</span></span><br><span class="line">    <span class="function"><span class="keyword">def</span> <span class="title">__init__</span><span class="params">(self, logger_name=<span class="string">'merry'</span>, debug=False)</span>:</span></span><br><span class="line">        self.logger = logging.getLogger(logger_name)</span><br><span class="line">        self.g = _Namespace()</span><br><span class="line">        self.debug = debug</span><br><span class="line">        self.except_ = &#123;&#125;</span><br><span class="line">        self.force_debug = []</span><br><span class="line">        self.force_handle = []</span><br><span class="line">        self.else_ = <span class="literal">None</span></span><br><span class="line">        self.finally_ = <span class="literal">None</span></span><br><span class="line"></span><br><span class="line">    <span class="function"><span class="keyword">def</span> <span class="title">_try</span><span class="params">(self, f)</span>:</span></span><br><span class="line"><span class="meta">        @wraps(f)</span></span><br><span class="line">        <span class="function"><span class="keyword">def</span> <span class="title">wrapper</span><span class="params">(*args, **kwargs)</span>:</span></span><br><span class="line">            ret = <span class="literal">None</span></span><br><span class="line">            <span class="keyword">try</span>:</span><br><span class="line">                ret = f(*args, **kwargs)</span><br><span class="line"></span><br><span class="line">                <span class="comment"># note that if the function returned something, the else clause</span></span><br><span class="line">                <span class="comment"># will be skipped. This is a similar behavior to a normal</span></span><br><span class="line">                <span class="comment"># try/except/else block.</span></span><br><span class="line">                <span class="keyword">if</span> ret <span class="keyword">is</span> <span class="keyword">not</span> <span class="literal">None</span>:</span><br><span class="line">                    <span class="keyword">return</span> ret</span><br><span class="line">            <span class="keyword">except</span> Exception <span class="keyword">as</span> e:</span><br><span class="line">                <span class="comment"># find the best handler for this exception</span></span><br><span class="line">                handler = <span class="literal">None</span></span><br><span class="line">                <span class="keyword">for</span> c <span class="keyword">in</span> self.except_.keys():</span><br><span class="line">                    <span class="keyword">if</span> isinstance(e, c):</span><br><span class="line">                        <span class="keyword">if</span> handler <span class="keyword">is</span> <span class="literal">None</span> <span class="keyword">or</span> issubclass(c, handler):</span><br><span class="line">                            handler = c</span><br><span class="line"></span><br><span class="line">                <span class="comment"># if we don't have any handler, we let the exception bubble up</span></span><br><span class="line">                <span class="keyword">if</span> handler <span class="keyword">is</span> <span class="literal">None</span>:</span><br><span class="line">                    <span class="keyword">raise</span> e</span><br><span class="line"></span><br><span class="line">                <span class="comment"># log exception</span></span><br><span class="line">                self.logger.exception(<span class="string">'[merry] Exception caught'</span>)</span><br><span class="line"></span><br><span class="line">                <span class="comment"># if in debug mode, then bubble up to let a debugger handle</span></span><br><span class="line">                debug = self.debug</span><br><span class="line">                <span class="keyword">if</span> handler <span class="keyword">in</span> self.force_debug:</span><br><span class="line">                    debug = <span class="literal">True</span></span><br><span class="line">                <span class="keyword">elif</span> handler <span class="keyword">in</span> self.force_handle:</span><br><span class="line">                    debug = <span class="literal">False</span></span><br><span class="line">                <span class="keyword">if</span> debug:</span><br><span class="line">                    <span class="keyword">raise</span> e</span><br><span class="line"></span><br><span class="line">                <span class="comment"># invoke handler</span></span><br><span class="line">                <span class="keyword">if</span> len(getargspec(self.except_[handler])[<span class="number">0</span>]) == <span class="number">0</span>:</span><br><span class="line">                    <span class="keyword">return</span> self.except_[handler]()</span><br><span class="line">                <span class="keyword">else</span>:</span><br><span class="line">                    <span class="keyword">return</span> self.except_[handler](e)</span><br><span class="line">            <span class="keyword">else</span>:</span><br><span class="line">                <span class="comment"># if we have an else handler, call it now</span></span><br><span class="line">                <span class="keyword">if</span> self.else_ <span class="keyword">is</span> <span class="keyword">not</span> <span class="literal">None</span>:</span><br><span class="line">                    <span class="keyword">return</span> self.else_()</span><br><span class="line">            <span class="keyword">finally</span>:</span><br><span class="line">                <span class="comment"># if we have a finally handler, call it now</span></span><br><span class="line">                <span class="keyword">if</span> self.finally_ <span class="keyword">is</span> <span class="keyword">not</span> <span class="literal">None</span>:</span><br><span class="line">                    alt_ret = self.finally_()</span><br><span class="line">                    <span class="keyword">if</span> alt_ret <span class="keyword">is</span> <span class="keyword">not</span> <span class="literal">None</span>:</span><br><span class="line">                        ret = alt_ret</span><br><span class="line">                    <span class="keyword">return</span> ret</span><br><span class="line">        <span class="keyword">return</span> wrapper</span><br><span class="line"></span><br><span class="line">    <span class="function"><span class="keyword">def</span> <span class="title">_except</span><span class="params">(self, *args, **kwargs)</span>:</span></span><br><span class="line">        <span class="function"><span class="keyword">def</span> <span class="title">decorator</span><span class="params">(f)</span>:</span></span><br><span class="line">            <span class="keyword">for</span> e <span class="keyword">in</span> args:</span><br><span class="line">                self.except_[e] = f</span><br><span class="line">            d = kwargs.get(<span class="string">'debug'</span>, <span class="literal">None</span>)</span><br><span class="line">            <span class="keyword">if</span> d:</span><br><span class="line">                self.force_debug.append(e)</span><br><span class="line">            <span class="keyword">elif</span> d <span class="keyword">is</span> <span class="keyword">not</span> <span class="literal">None</span>:</span><br><span class="line">                self.force_handle.append(e)</span><br><span class="line">            <span class="keyword">return</span> f</span><br><span class="line">        <span class="keyword">return</span> decorator</span><br><span class="line"></span><br><span class="line">    <span class="function"><span class="keyword">def</span> <span class="title">_else</span><span class="params">(self, f)</span>:</span></span><br><span class="line">        self.else_ = f</span><br><span class="line">        <span class="keyword">return</span> f</span><br><span class="line"></span><br><span class="line">    <span class="function"><span class="keyword">def</span> <span class="title">_finally</span><span class="params">(self, f)</span>:</span></span><br><span class="line">        self.finally_ = f</span><br><span class="line">        <span class="keyword">return</span> f</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>这里最主要的逻辑都在 _try 方法里面了，它主要做了什么事呢？其实就是仿照这标准的 try、except、else、finally 方法把流程实现下来了，只不过在对应的逻辑区块里面调用了装饰器修饰的方法。 其中有一个地方比较有意思：</p>
                  <figure class="highlight pgsql">
                    <table>
                      <tr>
                        <td class="gutter">
                          <pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br></pre>
                        </td>
                        <td class="code">
                          <pre><span class="line"><span class="keyword">handler</span> = <span class="keyword">None</span></span><br><span class="line"><span class="keyword">for</span> c <span class="keyword">in</span> self.except_.keys():</span><br><span class="line">    <span class="keyword">if</span> isinstance(e, c):</span><br><span class="line">        <span class="keyword">if</span> <span class="keyword">handler</span> <span class="keyword">is</span> <span class="keyword">None</span> <span class="keyword">or</span> issubclass(c, <span class="keyword">handler</span>):</span><br><span class="line">            <span class="keyword">handler</span> = c</span><br></pre>
                        </td>
                      </tr>
                    </table>
                  </figure>
                  <p>这里是为异常处理找寻一个最佳的异常处理方法，可以看到这里通过各个 _except 修饰的方法，然后通过 issubclass 方法来找寻最小能处理的子类，最终找到最佳匹配方法，实现有点妙。 好了，本节整体介绍了 Merry 这个库的基本使用，利用它我们可以使得 Python 的异常处理变得更优雅可扩展，来试试吧。 更多的用法可以看官方的说明 <a href="https://github.com/miguelgrinberg/merry" target="_blank" rel="noopener">https://github.com/miguelgrinberg/merry</a> 或者源码，谢谢。 希望对大家有帮助。</p>
                  </p>
                </div>
              </div>
              <div class="post-meta">
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-user"></i>
                  </span>
                  <span class="post-meta-item-text">作者</span>
                  <span><a href="/authors/崔庆才" class="author" itemprop="url" rel="index">崔庆才</a></span>
                </span>
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-calendar"></i>
                  </span>
                  <span class="post-meta-item-text">发表于</span>
                  <time title="创建时间：2020-04-09 15:01:25" itemprop="dateCreated datePublished" datetime="2020-04-09T15:01:25+08:00">2020-04-09</time>
                </span>
                <span id="/9134.html" class="post-meta-item leancloud_visitors" data-flag-title="Python 中异常处理库 merry 的用法" title="阅读次数">
                  <span class="post-meta-item-icon">
                    <i class="fa fa-eye"></i>
                  </span>
                  <span class="post-meta-item-text">阅读次数：</span>
                  <span class="leancloud-visitors-count"></span>
                </span>
                <span class="post-meta-item" title="本文字数">
                  <span class="post-meta-item-icon">
                    <i class="far fa-file-word"></i>
                  </span>
                  <span class="post-meta-item-text">本文字数：</span>
                  <span>7.7k</span>
                </span>
                <span class="post-meta-item" title="阅读时长">
                  <span class="post-meta-item-icon">
                    <i class="far fa-clock"></i>
                  </span>
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                  <span>7 分钟</span>
                </span>
              </div>
            </article>
            <article itemscope itemtype="http://schema.org/Article" class="post-block index" lang="zh-CN">
              <link itemprop="mainEntityOfPage" href="https://cuiqingcai.com/9132.html">
              <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
                <meta itemprop="image" content="/images/avatar.png">
                <meta itemprop="name" content="崔庆才">
                <meta itemprop="description" content="崔庆才的个人站点，记录生活的瞬间，分享学习的心得。">
              </span>
              <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
                <meta itemprop="name" content="静觅">
              </span>
              <header class="post-header">
                <h2 class="post-title" itemprop="name headline">
                  <a class="label"> 技术杂谈 <i class="label-arrow"></i>
                  </a>
                  <a href="/9132.html" class="post-title-link" itemprop="url">利用 PyCharm 实现本地代码和远端的实时同步</a>
                </h2>
              </header>
              <div class="post-body" itemprop="articleBody">
                <div class="thumb">
                  <img itemprop="contentUrl" class="random">
                </div>
                <div class="excerpt">
                  <p>
                  <p>我们知道在国内使用 Docker，无论是 Pull、Build 还是 Push 镜像都十分慢，因为毕竟很多源都是国外的源，下载和上传慢是必然的现象。 最近我在写的项目都是用 Docker 运行起来的，在测试的时候，我可能需要先 Build 一下然后跑起来测试下逻辑有没有问题。 在我自己本地机器上构建就有这么几个问题，一个问题当然就是速度慢，我用的肯定是国内的上网线路，有时候用个新镜像，半天 Pull 不下来，而且有的镜像是一些私有镜像，不好弄加速器，有的公开镜像试了几个加速器效果也不理想。另外一个问题当 Build 镜像的时候，如果涉及到一些编译的过程，就会占用我的本地机器的 CPU 资源，有时候搞得还挺卡。 所以，我干嘛不把这些 Build 的过程挪到服务器上来搞呢？如果我有一台国外的服务器，还能解决速度问题，另外还不会占用我本地机器的 CPU 资源。 但问题是，我要在自己机器上写代码呀，编译和运行又在远端，那代码怎么同步到远端呢？ 那么本节就来介绍下一种本地代码实时同步远程服务器的方法吧。 其实这个功能我用了好久了，但之前一直用起来感觉略鸡肋，因为免不了的还需要在远端配置一下运行环境才能跑，不过后来切到 Docker 运行的话，就舒服多了。如果大家用 Docker 运行项目的话，推荐大家可以试下。</p>
                  <h2 id="要求"><a href="#要求" class="headerlink" title="要求"></a>要求</h2>
                  <p>在这开始之前要求有一台远程 Linux 服务器，安装好 Docker 即可。另外当然还需要能 SSH 远程访问，这是必须的。另外如果是海外的服务器是最好的了，构建镜像速度会更快。 另外这里我是用 PyCharm 实现的远程同步功能，如果大家写 Python 多的话当然是推荐 PyCharm。不过其他的 JetBrains IDE 也基本都带着这个功能，所以如果用其他的 JetBrains IDE 也是 OK 的。注意，这里必须要用的是专业版，只有专业版才有这个功能。</p>
                  <h2 id="配置"><a href="#配置" class="headerlink" title="配置"></a>配置</h2>
                  <p>好，我们要实现的是本地代码实时同步服务器的功能。利用 PyCharm 自带的组件我们轻松实现这个功能。 PyCharm 有一个 SFTP 部署模块，可以帮助我们把本地的代码实时同步到远端。 好，首先 PyCharm 打开任意一个项目，在这里我就以自己的项目为例了。 <img src="https://qiniu.cuiqingcai.com/2020-03-20-133718.png" alt="项目预览"> 接着我们点击 PyCharm 的 Tools -&gt; Deployment -&gt; Configuration，这里我们可以配置远程 SFTP 服务器，如图所示： <img src="https://qiniu.cuiqingcai.com/2020-03-20-133741.png" alt="配置"> 打开之后是这样子，这里选择 SFTP，然后填入服务器的连接信息，如图所示： <img src="https://qiniu.cuiqingcai.com/2020-03-20-133749.png" alt="配置信息"> 在这里可以点「TEST CONNECTION」测试下是否能够连接成功。 OK，配置完了之后，我们已经成功添加好了一台远程服务器了，比如我这里就添加了一台我自己的服务器，Host 为 vm1.cuiqingcai.com。 既然要实现本地和服务器文件同步，那么当然必须要指定本地项目文件夹和远程哪个文件夹同步吧。在哪里指定呢？切换到第二个选项卡，Mappings，如图所示： <img src="https://qiniu.cuiqingcai.com/2020-03-20-133811.png" alt="Mappings"> 这里我们可以通过选择 LocalPath 和 Deployment Path 分别指定本地和远程的文件夹名称。注意这里后者指的是相对服务器工作目录的路径。 好了，就是这样，基本配置就完成了。如果你还想配置某些路径不同步的话，还可以在第三个选项卡 Excluded Paths 里面配置。 接着，还有一些可以配置的地方，点击 Tools -&gt; Deployment -&gt; Options 我们可以配置更多细节，如图所示： <img src="https://qiniu.cuiqingcai.com/2020-03-20-133832.png" alt="细节配置"> 比如这里我就配置了下什么时候上传，这里我改成了按 Ctrl + S 保存的时候再上传，这样我可以自由控制上传的时机。 另外这里还需要把自动上传勾选上，如图所示： <img src="https://qiniu.cuiqingcai.com/2020-03-20-133841.png" alt="自动上传"> 好了，整个都配置好啦。</p>
                  <h2 id="测试"><a href="#测试" class="headerlink" title="测试"></a>测试</h2>
                  <p>接下来我们上传下试试吧，可以点菜单里面的 Upload to 选项来上传代码。 点击上传之后，PyCharm 会单独开一个 File Transfer 窗口来显示文件上传的结果，如图所示： <img src="https://qiniu.cuiqingcai.com/2020-03-20-133910.png" alt="上传结果"> 这样就上传完毕了。 接着我们任意修改一个文件，按保存，即 Ctrl + S，这里就出现了自动上传的日志，提示某个文件被上传成功了。 <img src="https://qiniu.cuiqingcai.com/2020-03-20-133921.png" alt="自动上传测试"> OK，验证没问题。</p>
                  <h2 id="远程-SSH"><a href="#远程-SSH" class="headerlink" title="远程 SSH"></a>远程 SSH</h2>
                  <p>当然 PyCharm 还提供了远程 SSH Termial 的功能，直接点选 Tools -&gt; Start SSH Session 即可，如图所示： <img src="https://qiniu.cuiqingcai.com/2020-03-20-133932.png" alt="远程 SSH"> 点了之后就会提示选择哪个远程服务器，选了之后，下方 Terminal 就弹出来了，和普通的 SSH Shell 一模一样。 <img src="https://qiniu.cuiqingcai.com/2020-03-20-133953.png" alt="SSH Terminal"> OK，接下来要构建镜像，我只需要运行对应的 docker-compose 命令就好了，速度瞬间就上来了，我再也不用看着龟速的下拉速度而发愁了，而不用担心本地机器的资源消耗了。 <img src="https://qiniu.cuiqingcai.com/2020-03-20-134032.png" alt="构建过程"> OK，美滋滋。 构建完了运行之后，直接远程访问就好了。</p>
                  <blockquote>
                    <p>注意：这里记得把服务器的安全组限制打开，以免出现远程端口无法访问的问题。</p>
                  </blockquote>
                  <p>好，以上就是利用 PyCharm 实现代码实时远程同步的方法，大家也来试试吧。</p>
                  </p>
                </div>
              </div>
              <div class="post-meta">
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-user"></i>
                  </span>
                  <span class="post-meta-item-text">作者</span>
                  <span><a href="/authors/崔庆才" class="author" itemprop="url" rel="index">崔庆才</a></span>
                </span>
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-calendar"></i>
                  </span>
                  <span class="post-meta-item-text">发表于</span>
                  <time title="创建时间：2020-04-09 14:59:53" itemprop="dateCreated datePublished" datetime="2020-04-09T14:59:53+08:00">2020-04-09</time>
                </span>
                <span id="/9132.html" class="post-meta-item leancloud_visitors" data-flag-title="利用 PyCharm 实现本地代码和远端的实时同步" title="阅读次数">
                  <span class="post-meta-item-icon">
                    <i class="fa fa-eye"></i>
                  </span>
                  <span class="post-meta-item-text">阅读次数：</span>
                  <span class="leancloud-visitors-count"></span>
                </span>
                <span class="post-meta-item" title="本文字数">
                  <span class="post-meta-item-icon">
                    <i class="far fa-file-word"></i>
                  </span>
                  <span class="post-meta-item-text">本文字数：</span>
                  <span>1.9k</span>
                </span>
                <span class="post-meta-item" title="阅读时长">
                  <span class="post-meta-item-icon">
                    <i class="far fa-clock"></i>
                  </span>
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                  <span>2 分钟</span>
                </span>
              </div>
            </article>
            <article itemscope itemtype="http://schema.org/Article" class="post-block index" lang="zh-CN">
              <link itemprop="mainEntityOfPage" href="https://cuiqingcai.com/9077.html">
              <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
                <meta itemprop="image" content="/images/avatar.png">
                <meta itemprop="name" content="崔庆才">
                <meta itemprop="description" content="崔庆才的个人站点，记录生活的瞬间，分享学习的心得。">
              </span>
              <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
                <meta itemprop="name" content="静觅">
              </span>
              <header class="post-header">
                <h2 class="post-title" itemprop="name headline">
                  <a class="label"> Python <i class="label-arrow"></i>
                  </a>
                  <a href="/9077.html" class="post-title-link" itemprop="url">推荐一些实用的的 Python 库</a>
                </h2>
              </header>
              <div class="post-body" itemprop="articleBody">
                <div class="thumb">
                  <img itemprop="contentUrl" class="random">
                </div>
                <div class="excerpt">
                  <p>
                  <p>一门语言好用、方便的程度在很多时候会取决于这门语言相关的库够不够丰富，Python 之所以火爆除了其本身的语法和特性之外，还在一定程度上取决于其有太多太多库的支持，不论是官方维护的还是第三方开发的。就比如说做机器学习为什么很多人都用 Python，一个非常大的因素就是 TensorFlow 和 PyTorch 对 Python 的支持。当然在这里并不是说 Python 的库真的就全的不要不要的，它在某些领域或者项目的生态还是有待完善的。 正好昨天刷到知乎一个问题「你见过哪些相见恨晚的 Python 库？」，其意就是想了解下有哪些非常好用的提高生产力的 Python 库。一些回答直接把 awesome-python 贴过来，点赞非常多，当然多归多，但是里面很多都是些过期的或者其实没太有什么价值的库，反而会增加了挑选库的成本。我大体上把一些回答过了一遍，另外结合自己平时了解的内容，稍微对一些基础生产力库做了简单的梳理，在这里分享给大家。 所以这里就不再针对于一些特殊的场景推荐了，如一些 Web开发库、网络请求库、数据操作库、数据分析库、机器分析库等等。下面主要罗列一些适用范围和方向较广，对于一些基础设施的建设比较有用，能在多数场景下提高 Python 生产力的库，描述比较简单，主要是提供一个列表，仅供参考哈。</p>
                  <h3 id="attrs、cattrs"><a href="#attrs、cattrs" class="headerlink" title="attrs、cattrs"></a>attrs、cattrs</h3>
                  <p>GitHub：<a href="https://github.com/python-attrs/attrs、https://github.com/Tinche/cattrs" target="_blank" rel="noopener">https://github.com/python-attrs/attrs、https://github.com/Tinche/cattrs</a> 简化类的定义、序列化反序列化等操作。 个人写的简介：<a href="https://mp.weixin.qq.com/s/oHK-Y4lOeaQCFtDWgqXxFA" target="_blank" rel="noopener">https://mp.weixin.qq.com/s/oHK-Y4lOeaQCFtDWgqXxFA</a></p>
                  <h3 id="loguru"><a href="#loguru" class="headerlink" title="loguru"></a>loguru</h3>
                  <p>GitHub：<a href="https://github.com/Delgan/loguru" target="_blank" rel="noopener">https://github.com/Delgan/loguru</a> 可简化日志记录写法。 个人写的简介：<a href="https://mp.weixin.qq.com/s/5Ri1WS5cTGCNAQ0I_zYycg" target="_blank" rel="noopener">https://mp.weixin.qq.com/s/5Ri1WS5cTGCNAQ0I_zYycg</a></p>
                  <h3 id="autopep8"><a href="#autopep8" class="headerlink" title="autopep8"></a>autopep8</h3>
                  <p>GitHub：<a href="https://github.com/hhatto/autopep8" target="_blank" rel="noopener">https://github.com/hhatto/autopep8</a> 把 Python 代码转成符合 PEP8 规范的代码。</p>
                  <h3 id="psutil"><a href="#psutil" class="headerlink" title="psutil"></a>psutil</h3>
                  <p>GitHub：<a href="https://github.com/giampaolo/psutil" target="_blank" rel="noopener">https://github.com/giampaolo/psutil</a> Python 实现任务监控的库。</p>
                  <h3 id="furl"><a href="#furl" class="headerlink" title="furl"></a>furl</h3>
                  <p>GitHub：<a href="https://github.com/gruns/furl" target="_blank" rel="noopener">https://github.com/gruns/furl</a> 对 url 的处理非常方便，比 urllib 等库好用多。</p>
                  <h3 id="retrying、tenacity"><a href="#retrying、tenacity" class="headerlink" title="retrying、tenacity"></a>retrying、tenacity</h3>
                  <p>GitHub：<a href="https://github.com/rholder/retrying、https://github.com/jd/tenacity" target="_blank" rel="noopener">https://github.com/rholder/retrying、https://github.com/jd/tenacity</a> 异常重试库，如出错之后重试多少次，尤其在发起一些 HTTP 请求时非常有用，当然也能用于其他地方。</p>
                  <h3 id="typing"><a href="#typing" class="headerlink" title="typing"></a>typing</h3>
                  <p>Docs：<a href="https://docs.python.org/zh-cn/3/library/typing.html#module-typing" target="_blank" rel="noopener">https://docs.python.org/zh-cn/3/library/typing.html#module-typing</a> 对 Python 类型的支持，支持多种类型、嵌套类型，也推荐多多使用 Python 的类型注解。</p>
                  <h3 id="argparse"><a href="#argparse" class="headerlink" title="argparse"></a>argparse</h3>
                  <p>Docs：<a href="https://docs.python.org/zh-cn/3/library/argparse.html" target="_blank" rel="noopener">https://docs.python.org/zh-cn/3/library/argparse.html</a> 个人曾经使用过几个命令行解析工具，如 docopt，但后来还是转回来了 argparse，功能齐全强大。</p>
                  <h3 id="absl-py"><a href="#absl-py" class="headerlink" title="absl-py"></a>absl-py</h3>
                  <p>GitHub：<a href="https://github.com/abseil/abseil-py" target="_blank" rel="noopener">https://github.com/abseil/abseil-py</a> 个人感觉比 argparse 更易用的库，如 TensorFlow 就在使用这个，对于定义一些 Flag 非常方便。</p>
                  <h3 id="pipenv"><a href="#pipenv" class="headerlink" title="pipenv"></a>pipenv</h3>
                  <p>GitHub：<a href="https://github.com/pypa/pipenv" target="_blank" rel="noopener">https://github.com/pypa/pipenv</a> 功能更全的包管理工具，集成虚拟环境、支持 Lock 机制锁定安装包版本和依赖信息。当然也有坑点，可自行搜索。</p>
                  <h3 id="drf"><a href="#drf" class="headerlink" title="drf"></a>drf</h3>
                  <p>Docs：<a href="https://www.django-rest-framework.org/" target="_blank" rel="noopener">https://www.django-rest-framework.org/</a> 基于 Django 的 REST Framework，快速实现 REST API。</p>
                  <h3 id="watchdog"><a href="#watchdog" class="headerlink" title="watchdog"></a>watchdog</h3>
                  <p>GitHub：<a href="https://github.com/gorakhargosh/watchdog" target="_blank" rel="noopener">https://github.com/gorakhargosh/watchdog</a> 方便监视文件系统改动。</p>
                  <h3 id="glob"><a href="#glob" class="headerlink" title="glob"></a>glob</h3>
                  <p>Docs：<a href="https://docs.python.org/3/library/glob.html" target="_blank" rel="noopener">https://docs.python.org/3/library/glob.html</a> 对文件的操作非常方便。</p>
                  <h3 id="2to3"><a href="#2to3" class="headerlink" title="2to3"></a>2to3</h3>
                  <p>Docs：<a href="https://docs.python.org/2/library/2to3.html" target="_blank" rel="noopener">https://docs.python.org/2/library/2to3.html</a> 把 Python2 代码转成 Python3 代码。</p>
                  <h3 id="glom"><a href="#glom" class="headerlink" title="glom"></a>glom</h3>
                  <p>GitHub：<a href="https://github.com/mahmoud/glom" target="_blank" rel="noopener">https://github.com/mahmoud/glom</a> 对 JSON 嵌套的处理非常方便。</p>
                  <h3 id="pathlib"><a href="#pathlib" class="headerlink" title="pathlib"></a>pathlib</h3>
                  <p>Docs：<a href="https://docs.python.org/3/library/pathlib.html" target="_blank" rel="noopener">https://docs.python.org/3/library/pathlib.html</a> 更为方便的 Python 路径操作库。</p>
                  <h3 id="environs"><a href="#environs" class="headerlink" title="environs"></a>environs</h3>
                  <p>GitHub：<a href="https://github.com/sloria/environs" target="_blank" rel="noopener">https://github.com/sloria/environs</a> 对于环境变量的获取非常方便，支持多种类型，如 int、bool 等。</p>
                  <h3 id="pysnooper"><a href="#pysnooper" class="headerlink" title="pysnooper"></a>pysnooper</h3>
                  <p>GitHub：<a href="https://github.com/cool-RR/PySnooper" target="_blank" rel="noopener">https://github.com/cool-RR/PySnooper</a> 非常方便简单的 Python 调试器，可以追踪到代码每一处细节的执行状态。</p>
                  <h3 id="tqdm"><a href="#tqdm" class="headerlink" title="tqdm"></a>tqdm</h3>
                  <p>GitHub：<a href="https://github.com/tqdm/tqdm" target="_blank" rel="noopener">https://github.com/tqdm/tqdm</a> 进度条控制显示非常方便。</p>
                  <h3 id="sh"><a href="#sh" class="headerlink" title="sh"></a>sh</h3>
                  <p>GitHub：<a href="https://github.com/amoffat/sh" target="_blank" rel="noopener">https://github.com/amoffat/sh</a> 对 Linux 一些命令的封装，简单好用又高效。</p>
                  <h3 id="faker"><a href="#faker" class="headerlink" title="faker"></a>faker</h3>
                  <p>GitHub：<a href="https://github.com/joke2k/faker" target="_blank" rel="noopener">https://github.com/joke2k/faker</a> 模拟数据的生成。 个人写的简介：<a href="https://mp.weixin.qq.com/s/iLjr95uqgTclxYfWWNxrAA" target="_blank" rel="noopener">https://mp.weixin.qq.com/s/iLjr95uqgTclxYfWWNxrAA</a></p>
                  <h3 id="arrow、dateutil、dateparser、pendulum"><a href="#arrow、dateutil、dateparser、pendulum" class="headerlink" title="arrow、dateutil、dateparser、pendulum"></a>arrow、dateutil、dateparser、pendulum</h3>
                  <p>GitHub：<a href="https://github.com/crsmithdev/arrow、https://github.com/dateutil/dateutil、https://github.com/scrapinghub/dateparser、https://github.com/sdispater/pendulum" target="_blank" rel="noopener">https://github.com/crsmithdev/arrow、https://github.com/dateutil/dateutil、https://github.com/scrapinghub/dateparser、https://github.com/sdispater/pendulum</a> 时间解析和处理库，非常方便。arrow 目前 Star 最多，好评最多。</p>
                  <h3 id="yagmail"><a href="#yagmail" class="headerlink" title="yagmail"></a>yagmail</h3>
                  <p>GitHub：<a href="https://github.com/kootenpv/yagmail" target="_blank" rel="noopener">https://github.com/kootenpv/yagmail</a> 方便的发邮件库，替代自带的 smtplib。</p>
                  <h3 id="chardet"><a href="#chardet" class="headerlink" title="chardet"></a>chardet</h3>
                  <p>GitHub：<a href="https://github.com/chardet/chardet" target="_blank" rel="noopener">https://github.com/chardet/chardet</a> 字符串类型编码检测。</p>
                  <h3 id="pypinyin"><a href="#pypinyin" class="headerlink" title="pypinyin"></a>pypinyin</h3>
                  <p>GitHub：<a href="https://github.com/mozillazg/python-pinyin" target="_blank" rel="noopener">https://github.com/mozillazg/python-pinyin</a> 汉字转拼音，在一些中文转化处理上很有用。 个人写的简介：<a href="https://mp.weixin.qq.com/s/NvA3j8Ns1-6CFgWpUcWwQw" target="_blank" rel="noopener">https://mp.weixin.qq.com/s/NvA3j8Ns1-6CFgWpUcWwQw</a></p>
                  <h3 id="sphinx"><a href="#sphinx" class="headerlink" title="sphinx"></a>sphinx</h3>
                  <p>Docs：<a href="https://www.sphinx-doc.org/en/master/" target="_blank" rel="noopener">https://www.sphinx-doc.org/en/master/</a> 编写文档使用，大多数 Python 库文档都是这个写的，如 Scrapy、requests。 个人 sphinx + markdown 的样例：<a href="https://github.com/Gerapy/Docs" target="_blank" rel="noopener">https://github.com/Gerapy/Docs</a></p>
                  <h3 id="jinja2"><a href="#jinja2" class="headerlink" title="jinja2"></a>jinja2</h3>
                  <p>GitHub：<a href="https://github.com/pallets/jinja" target="_blank" rel="noopener">https://github.com/pallets/jinja</a> 一个方便的模板引擎，呈现页面时很方便。</p>
                  <h3 id="click"><a href="#click" class="headerlink" title="click"></a>click</h3>
                  <p>GitHub：<a href="https://github.com/pallets/click" target="_blank" rel="noopener">https://github.com/pallets/click</a> 更方便灵活地实现命令行传递参数。</p>
                  <h3 id="ray"><a href="#ray" class="headerlink" title="ray"></a>ray</h3>
                  <p>GitHub：<a href="https://github.com/ray-project/ray" target="_blank" rel="noopener">https://github.com/ray-project/ray</a> 分布式多进程管理。</p>
                  <h3 id="supervisor"><a href="#supervisor" class="headerlink" title="supervisor"></a>supervisor</h3>
                  <p>GitHub：<a href="https://github.com/Supervisor/supervisor" target="_blank" rel="noopener">https://github.com/Supervisor/supervisor</a> 进程管理工具，如实现多任务后台运行，Docker 打包时会经常用到。</p>
                  <h3 id="apscheduler"><a href="#apscheduler" class="headerlink" title="apscheduler"></a>apscheduler</h3>
                  <p>GitHub：<a href="https://github.com/agronholm/apscheduler" target="_blank" rel="noopener">https://github.com/agronholm/apscheduler</a> Python 定时任务，不过 K8S 也可以实现，个人目前可能更倾向于 K8S。</p>
                  <h3 id="intelpython"><a href="#intelpython" class="headerlink" title="intelpython"></a>intelpython</h3>
                  <p>Home：<a href="https://software.intel.com/en-us/distribution-for-python" target="_blank" rel="noopener">https://software.intel.com/en-us/distribution-for-python</a> 这不是 Python 库，是一个 Intel 开发的基于 Intel 处理器优化的 Python 解释器，对于大规模运算提升很大。 先推荐这么多了，后面还会慢慢积累，大家可以了解下，有不少库还是能极大提高生产力的。 由于这次主要是推荐一些适用范围和方向较广，个人感觉对于一些基础设施的建设比较有用的库，所以一些 Web、爬虫、数据分析、机器学习等库就没有列在这里了。当然也由于个人水平有限，也有很多库没有列全，如果大家有推荐的，欢迎留言分享哈！</p>
                  </p>
                </div>
              </div>
              <div class="post-meta">
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-user"></i>
                  </span>
                  <span class="post-meta-item-text">作者</span>
                  <span><a href="/authors/崔庆才" class="author" itemprop="url" rel="index">崔庆才</a></span>
                </span>
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-calendar"></i>
                  </span>
                  <span class="post-meta-item-text">发表于</span>
                  <time title="创建时间：2020-03-20 21:57:01" itemprop="dateCreated datePublished" datetime="2020-03-20T21:57:01+08:00">2020-03-20</time>
                </span>
                <span id="/9077.html" class="post-meta-item leancloud_visitors" data-flag-title="推荐一些实用的的 Python 库" title="阅读次数">
                  <span class="post-meta-item-icon">
                    <i class="fa fa-eye"></i>
                  </span>
                  <span class="post-meta-item-text">阅读次数：</span>
                  <span class="leancloud-visitors-count"></span>
                </span>
                <span class="post-meta-item" title="本文字数">
                  <span class="post-meta-item-icon">
                    <i class="far fa-file-word"></i>
                  </span>
                  <span class="post-meta-item-text">本文字数：</span>
                  <span>3.7k</span>
                </span>
                <span class="post-meta-item" title="阅读时长">
                  <span class="post-meta-item-icon">
                    <i class="far fa-clock"></i>
                  </span>
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                  <span>3 分钟</span>
                </span>
              </div>
            </article>
            <article itemscope itemtype="http://schema.org/Article" class="post-block index" lang="zh-CN">
              <link itemprop="mainEntityOfPage" href="https://cuiqingcai.com/9075.html">
              <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
                <meta itemprop="image" content="/images/avatar.png">
                <meta itemprop="name" content="崔庆才">
                <meta itemprop="description" content="崔庆才的个人站点，记录生活的瞬间，分享学习的心得。">
              </span>
              <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
                <meta itemprop="name" content="静觅">
              </span>
              <header class="post-header">
                <h2 class="post-title" itemprop="name headline">
                  <a class="label"> 技术杂谈 <i class="label-arrow"></i>
                  </a>
                  <a href="/9075.html" class="post-title-link" itemprop="url">爬虫工程师学习养成路径</a>
                </h2>
              </header>
              <div class="post-body" itemprop="articleBody">
                <div class="thumb">
                  <img itemprop="contentUrl" class="random">
                </div>
                <div class="excerpt">
                  <p>
                  <p>当今大数据的时代，网络爬虫已经成为了获取数据的一个重要手段。 但要学习好爬虫并没有那么简单。首先知识点和方向实在是太多了，它关系到了计算机网络、编程基础、前端开发、后端开发、App 开发与逆向、网络安全、数据库、运维、机器学习、数据分析等各个方向的内容，它像一张大网一样把现在一些主流的技术栈都连接在了一起。正因为涵盖的方向多，因此学习的东西也非常零散和杂乱，很多初学者搞不清楚究竟要学习哪些知识，学习过程中遇到反爬也不知道用什么方法来解决，本篇我们来做一些归纳和总结。</p>
                  <h2 id="初学爬虫"><a href="#初学爬虫" class="headerlink" title="初学爬虫"></a>初学爬虫</h2>
                  <p>一些最基本的网站，往往不带任何反爬措施。比如某个博客站点，我们要爬全站的话就顺着列表页爬到文章页，再把文章的时间、作者、正文等信息爬下来就可以了。 那代码怎么写呢？用 Python 的 requests 等库就够了，写一个基本的逻辑，顺着把一篇篇文章的源码获取下来，解析的话用 XPath、BeautifulSoup、PyQuery 或者正则表达式，或者粗暴的字符串匹配把想要的内容抠出来，再加个文本写入存下来就完事了。 代码很简单，就几个方法调用。逻辑很简单，几个循环加存储。最后就能看到一篇篇文章就被我们存到自己的电脑里面了。当然有的同学可能不太会写代码或者都懒得写，那么利用基本的可视化爬取工具，如某爪鱼、某裔采集器也能通过可视化点选的方式把数据爬下来。 如果存储方面稍微扩展一下的话，可以对接上 MySQL、MongoDB、Elasticsearch、Kafka 等等来保存数据，实现持久化存储。以后查询或者操作会更方便。 反正，不管效率如何，一个完全没有反爬的网站用最最基本的方式就搞定了。 到这里，你就说你会爬虫了吗？不，还差的远呢。</p>
                  <h2 id="Ajax、动态渲染"><a href="#Ajax、动态渲染" class="headerlink" title="Ajax、动态渲染"></a>Ajax、动态渲染</h2>
                  <p>随着互联网的发展，前端技术也在不断变化，数据的加载方式也不再是单纯的服务端渲染了。现在你可以看到很多网站的数据可能都是通过接口的形式传输的，或者即使不是接口那也是一些 JSON 的数据，然后经过 JavaScript 渲染得出来的。 这时候，你要再用 requests 来爬那就不顶用了，因为 requests 爬下来的源码是服务端渲染得到的，浏览器看到页面的和 requests 获取的结果是不一样的。真正的数据是经过 JavaScript 执行的出来的，数据来源可能是 Ajax，也可能是页面里的某些 Data，也可能是一些 ifame 页面等等，不过大多数情况下可能是 Ajax 接口获取的。 所以很多情况下需要分析 Ajax，知道这些接口的调用方式之后再用程序来模拟。但是有些接口带着加密参数，比如 token、sign 等等，又不好模拟，咋整呢？ 一种方法就是去分析网站的 JavaScript 逻辑，死抠里面的代码，揪出来这些参数是怎么构造的，找出思路来了之后再用爬虫模拟或重写就行了。如果你解出来了，那么直接模拟的方式效率会高非常多，这里面就需要一些 JavaScript 基础了，当然有些网站加密逻辑做的太牛逼了，你可能花一个星期也解不出来，最后放弃了。 那这样解不出来或者不想解，那咋办呢？这时候可以有一种简单粗暴的方法就是直接用模拟浏览器的方式来爬取，比如用 Puppeteer、Pyppeteer、Selenium、Splash 等，这样爬取到的源代码就是真正的网页代码，数据自然就好提取了，同时也就绕过分析 Ajax 和一些 JavaScript 逻辑的过程。这种方式就做到了可见即可爬，难度也不大，同时模拟了浏览器，也不太会有一些法律方面的问题。 但其实后面的这种方法也会遇到各种反爬的情况，现在很多网站都会去识别 webdriver，看到你是用的 Selenium 等工具，直接干掉或不返回数据，所以你碰到这种网站还得来专门解一下这个问题。</p>
                  <h2 id="多进程、多线程、协程"><a href="#多进程、多线程、协程" class="headerlink" title="多进程、多线程、协程"></a>多进程、多线程、协程</h2>
                  <p>上面的情况如果用单线程的爬虫来模拟是比较简单的，但是有个问题就是速度慢啊。 爬虫是 IO 密集型的任务，所以可能大多数情况下都在等待网络的响应，如果网络响应速度慢，那就得一直等着。但这个空余的时间其实可以让 CPU 去做更多事情。那怎么办呢？多开点线程吧。 所以这时候我们就可以在某些场景下加上多进程、多线程，虽然说多线程有 GIL 锁，但对于爬虫来说其实影响没那么大，所以用上多进程、多线程都可以成倍地提高爬取速度，对应的库就有 threading、multiprocessing 了。 异步协程就更牛逼了，用 aiohttp、gevent、tornado 等等的基本上你想搞多少并发就搞多少并发，但是还是悠着点，别把人家网站搞挂了。 总之，用上这几个，爬虫速度就提上来了。 但速度提上来了不一定是好事，反爬接着肯定就要来了，封你 IP、封你账号、弹验证码、返回假数据，所以有时候龟速爬似乎也是个解决办法？</p>
                  <h2 id="分布式"><a href="#分布式" class="headerlink" title="分布式"></a>分布式</h2>
                  <p>多线程、多进程、协程都能加速，但终究还是单机的爬虫。要真正做到规模化，还得来靠分布式爬虫来搞。 分布式的核心是什么？资源共享。比如爬取队列共享、去重指纹共享等等。 我们可以使用一些基础的队列或组件来实现分布式，比如 RabbitMQ、Celery、Kafka、Redis 等等，但经过很多人的尝试，自己去实现一个分布式爬虫，性能和扩展性总会出现一些问题，当然特别牛逼的除外哈。不少企业内部其实也有自己开发的一套分布式爬虫，和业务更紧密，这种当然是最好了。 现在主流的 Python 分布式爬虫还是基于 Scrapy 的，对接 Scrapy-Redis、Scrapy-Redis-BloomFilter 或者用 Scrapy-Cluster 等等，他们都是基于 Redis 来共享爬取队列的，总会多多少少遇到一些内存的问题。所以一些人也考虑对接到了其他的消息队列上面，比如 RabbitMQ、Kafka 等等，解决一些问题，效率也不差。 总之，要提高爬取效率，分布式还是必须要掌握的。</p>
                  <h2 id="验证码"><a href="#验证码" class="headerlink" title="验证码"></a>验证码</h2>
                  <p>爬虫难免遇到反爬，验证码就是其中之一。要会反爬，那首先就要会解验证码。 现在你可以看到很多网站都会有各种各样的验证码了，比如最简单的图形验证码，要是验证码的文字规整的话，OCR 过一遍或者基本的模型库都能识别，不想搞这个的话可以直接去对接个打码平台来搞，准确率还是有的。 然而你可能现在都见不到什么图形验证码了，都是一些行为验证码，如某验、某盾等等，国外也有很多，比如 reCaptcha 等等。一些稍微简单一点的，比如滑动的，你可以找点办法识别缺口，比如图像处理比对、深度学习识别都是可以的。轨迹呢自己写个模拟正常人行为的，加点抖动之类的。有了轨迹之后咋模拟呢，如果你牛逼，那么可以直接去分析验证码的 JavaScript 逻辑，把轨迹数据录入，那就能得到里面的一些加密参数，直接拿着这些参数放到表单或接口里面就能直接用了。当然也可以用模拟浏览器的方式来拖动，也能通过一定的方式拿到加密参数，或者直接用模拟浏览器的方式把登录一起做了，拿着 Cookies 来爬也行。 当然拖动只是一种验证码，还有文字点选、逻辑推理等，要是真不想搞，可以找打码平台来解出来再模拟，但毕竟花钱的，一些高手就会选择自己训练深度学习相关的模型，收集数据、标注、训练，针对不同的业务训练不同的模型。这样有了核心技术，也不用再去花钱找打码平台了，再研究下验证码的逻辑模拟一下，加密参数就能解出来了。不过有的验证码难得很，有的我也没搞定。 当然有些验证码可能是请求过于频繁而弹出来的，这种如果换个 IP 什么的也能解。</p>
                  <h2 id="封-IP"><a href="#封-IP" class="headerlink" title="封 IP"></a>封 IP</h2>
                  <p>封 IP 也是个令人头疼的事，行之有效的方法就是换代理了。 代理很多种，市面上免费的，收费的太多太多了。 首先可以把市面上免费的代理用起来，自己搭建一个代理池，收集现在全网所有的免费代理，然后加一个测试器一直不断测试，测试的网址可以改成你要爬的网址。这样测试通过的一般都能直接拿来爬你的目标网站。我自己也搭建过一个代理池，现在对接了一些免费代理，定时爬、定时测，还写了个 API 来取，放在 GitHub 了：<a href="https://github.com/Python3WebSpider/ProxyPool，打好了" target="_blank" rel="noopener">https://github.com/Python3WebSpider/ProxyPool，打好了</a> Docker 镜像，提供了 Kubernetes 脚本，大家可以直接拿来用。 付费代理也是一样，很多商家提供了代理提取接口，请求一下就能获取几十几百个代理，我们可以同样把它们接入到代理池里面。但这个代理也分各种套餐，什么开放代理、独享代理等等的质量和被封的几率也是不一样的。 有的商家还利用隧道技术搭了代理，这样代理的地址和端口我们是不知道的，代理池是由他们来维护的，比如某布云，这样用起来更省心一些，但是可控性就差一些。 还有更稳定的代理，比如拨号代理、蜂窝代理等等，接入成本会高一些，但是一定程度上也能解决一些封 IP 的问题。 不过这些背后也不简单，为啥一个好好的高匿代理就是莫名其妙爬不了，背后的一些事就不多讲了。</p>
                  <h2 id="封账号"><a href="#封账号" class="headerlink" title="封账号"></a>封账号</h2>
                  <p>有些信息需要模拟登录才能爬嘛，如果爬的过快，人家网站直接把你的账号封禁了，就啥都没得说了。比如爬公众号的，人家把你 WX 号封了，那就全完了。 一种解决方法当然就是放慢频率，控制下节奏。 还有种方法就是看看别的终端，比如手机页、App 页、wap 页，看看有没有能绕过登录的法子。 另外比较好的方法，那就是分流。如果你号足够多，建一个池子，比如 Cookies 池、Token 池、Sign 池反正不管什么池吧，多个账号跑出来的 Cookies、Token 都放到这个池子里面，用的时候随机从里面拿一个。如果你想保证爬取效率不变，那么 100 个账号相比 20 个账号，对于每个账号对应的 Cookies、Token 的取用频率就变成原来的了 1/5，那么被封的概率也就随之降低了。</p>
                  <h2 id="奇葩的反爬"><a href="#奇葩的反爬" class="headerlink" title="奇葩的反爬"></a>奇葩的反爬</h2>
                  <p>上面说的是几种比较主流的反爬，当然还有非常多奇葩的反爬。比如返回假数据、返回图片化数据、返回乱序数据、返回骂人的数据、返回求饶的数据，那都具体情况看着办吧。 这些反爬也得小心点，之前见过一个反爬直接返回 <code>rm -rf /</code> 的也不是没有，你要是正好有个脚本模拟执行返回结果，后果自己想象哈。</p>
                  <h2 id="JavaScript-逆向"><a href="#JavaScript-逆向" class="headerlink" title="JavaScript 逆向"></a>JavaScript 逆向</h2>
                  <p>说到重头了。随着前端技术的进步和网站反爬意识的增强，很多网站选择在前端上下功夫，那就是在前端对一些逻辑或代码进行加密或混淆。当然这不仅仅是为了保护前端的代码不被轻易盗取，更重要的是反爬。比如很多 Ajax 接口都会带着一些参数，比如 sign、token 等等，这些前文也讲过了。这种数据我们可以用前文所说的 Selenium 等方式来爬，但总归来说效率太低了，毕竟它模拟的是网页渲染的整个过程，而真实的数据可能仅仅就藏在一个小接口里。 如果我们能够把一些接口的参数真正找出其中的逻辑，用代码来模拟执行，那效率就会有成倍的提升，而且还能在一定程度上规避上述的反爬现象。 但问题是什么？难啊。 Webpack 是一方面，前端代码都被压缩和转码成一些 bundle 文件，一些变量的含义已经丢失，不好还原。然后一些网站再加上一些 obfuscator 的机制，把前端代码变成你完全看不懂的东西，比如字符串拆散打乱、变量十六进制化、控制流扁平化、无限 debug、控制台禁用等等，前端的代码和逻辑已经面目全非。有的用 WebAssembly 等技术把前端核心逻辑直接编译，那就只能慢慢抠了，虽然说有些有一定的技巧，但是总归来说还是会花费很多时间。但一旦解出来了，那就万事大吉了。怎么说？就像奥赛题一样，解出来升天，解不出来 GG。 很多公司招聘爬虫工程师都会问有没有 JavaScript 逆向基础，破解过哪些网站，比如某宝、某多、某条等等，解出来某个他们需要的可能就直接录用你。每家网站的逻辑都不一样，难度也不一样。</p>
                  <h2 id="App"><a href="#App" class="headerlink" title="App"></a>App</h2>
                  <p>当然爬虫不仅仅是网页爬虫了，随着互联网时代的发展，现在越来越多的公司都选择将数据放到 App 上面，甚至有些公司只有 App 没有网站。所以数据只能通过 App 来爬。 咋爬呢？基本的就是抓包工具了，Charles、Fiddler 一把梭，抓到接口之后，直接拿来模拟就行了。 如果接口有加密参数怎么办呢？一种方法你可以边爬边处理，比如 mitmproxy 直接监听接口数据。另一方面你可以走 Hook，比如上 Xposed 也可以拿到。 那爬的时候又怎么实现自动化呢？总不能拿手来戳吧。其实工具也多，安卓原生的 adb 工具也行，Appium 现在已经是比较主流的方案了，当然还有其他的某精灵都是可以实现的。 最后，有的时候可能真的就不想走自动化的流程，我就想把里面的一些接口逻辑抠出来，那就得搞逆向了，IDA Pro、jdax、FRIDA 等工具就派上用场了，当然这个过程和 JavaScript 逆向一样很痛苦，甚至可能得读汇编指令。搞一个案例掉一把头发也不是不可能的。</p>
                  <h2 id="智能化"><a href="#智能化" class="headerlink" title="智能化"></a>智能化</h2>
                  <p>上面的这一通，都搞熟了，恭喜你已经超过了百分之八九十的爬虫玩家了，当然专门搞 JavaScript 逆向、App 逆向的都是站在食物链顶端的男人，这种严格来说已经不算爬虫范畴了，这种神我们就不算在里面了，反正我不是。 除了上面的一些技能，在一些场合下，我们可能也需要结合一些机器学习的技术，让我们的爬虫变得更智能起来。 比如现在很多博客、新闻文章，其页面结构相似度比较高，要提取的信息也比较类似。 比如如何区分一个页面是索引页还是详情页？如何提取详情页的文章链接？如何解析文章页的页面内容？这些其实都是可以通过一些算法来计算出来的。 所以，一些智能解析技术也营运而生，比如提取详情页，一位朋友写的 GeneralNewsExtractor 表现就非常好。 假如说我来了一个需求，我要爬取一万个新闻网站数据，要一个个写 XPath 吗？写死我吧。如果有了智能化解析技术，在容忍一定错误的条件下，完成这个就是分分钟的事情。 总之，如果我们能把这一块也学会了，我们的爬虫技术就会如虎添翼。</p>
                  <h2 id="运维"><a href="#运维" class="headerlink" title="运维"></a>运维</h2>
                  <p>这块也是一个重头戏。爬虫和运维也是息息相关。 比如写完一个爬虫，怎样去快速部署到 100 台主机上跑起来。 比如怎么灵活地监控每个爬虫的运行状态。 比如爬虫有处代码改动，如何去快速更新。 比如怎样监控一些爬虫的占用内存、消耗的 CPU 状况。 比如怎样科学地控制爬虫的定时运行、 比如爬虫出现了问题，怎样能及时收到通知，怎样设置科学的报警机制。 这里面，部署大家各有各的方法，比如用 Ansible 当然可以。如果用 Scrapy 的话有 Scrapyd，然后配合上一些管理工具也能完成一些监控和定时任务。不过我现在用的更多是还是 Docker + Kubernetes，再加上 DevOps 一套，比如 GitHub Actions、Azure Pipelines、Jenkins 等等，快速实现分发和部署。 定时任务大家有的用 crontab，有的用 apscheduler，有的用管理工具，有的用 Kubernetes，我的话用 Kubernetes 就多一些了，定时任务也是很好实现。 至于监控的话，也有很多，专门的一些爬虫管理工具自带了一些监控和报警功能。一些云服务也带了一些监控的功能。我用的是 Kubernetes + Prometheus + Grafana，什么 CPU、内存、运行状态，一目了然，报警机制在 Grafana 里面配一下也很方便，支持 Webhook、邮件甚至某钉。 数据的存储和监控，用 Kafka、Elasticsearch 个人感觉也挺方便的，我主要用的是后者，然后再和 Grafana 配合起来，数据爬取量、爬取速度等等监控也都一目了然。</p>
                  <h2 id="结语"><a href="#结语" class="headerlink" title="结语"></a>结语</h2>
                  <p>至此，爬虫的一些涵盖的知识点也就差不多了，怎么样，梳理一下，是不是计算机网络、编程基础、前端开发、后端开发、App 开发与逆向、网络安全、数据库、运维、机器学习都涵盖到了？上面总结的可以算是从爬虫小白到爬虫高手的路径了，里面每个方向其实可研究的点非常多，每个点做精了，都会非常了不起。 爬虫往往学着学着，就成为了一名全栈工程师或者全干工程师，因为你可能真的啥都会了。但是没办法啊，都是被爬虫逼的啊，如果不是生活所困，谁愿意一身才华呢？ 然而有了才华之后呢？摸摸头顶，卧槽，我的头发呢？ 嗯，大家都懂的。 最后最重要的，珍爱生命、珍爱每一根头发。</p>
                  </p>
                </div>
              </div>
              <div class="post-meta">
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-user"></i>
                  </span>
                  <span class="post-meta-item-text">作者</span>
                  <span><a href="/authors/崔庆才" class="author" itemprop="url" rel="index">崔庆才</a></span>
                </span>
                <span class="post-meta-item">
                  <span class="post-meta-item-icon">
                    <i class="far fa-calendar"></i>
                  </span>
                  <span class="post-meta-item-text">发表于</span>
                  <time title="创建时间：2020-03-20 21:55:48" itemprop="dateCreated datePublished" datetime="2020-03-20T21:55:48+08:00">2020-03-20</time>
                </span>
                <span id="/9075.html" class="post-meta-item leancloud_visitors" data-flag-title="爬虫工程师学习养成路径" title="阅读次数">
                  <span class="post-meta-item-icon">
                    <i class="fa fa-eye"></i>
                  </span>
                  <span class="post-meta-item-text">阅读次数：</span>
                  <span class="leancloud-visitors-count"></span>
                </span>
                <span class="post-meta-item" title="本文字数">
                  <span class="post-meta-item-icon">
                    <i class="far fa-file-word"></i>
                  </span>
                  <span class="post-meta-item-text">本文字数：</span>
                  <span>6.4k</span>
                </span>
                <span class="post-meta-item" title="阅读时长">
                  <span class="post-meta-item-icon">
                    <i class="far fa-clock"></i>
                  </span>
                  <span class="post-meta-item-text">阅读时长 &asymp;</span>
                  <span>6 分钟</span>
                </span>
              </div>
            </article>
            <script>
              document.querySelectorAll('.random').forEach(item => item.src = "https://picsum.photos/id/" + Math.floor(Math.random() * Math.floor(300)) + "/200/133")

            </script>
            <nav class="pagination">
              <a class="extend prev" rel="prev" href="/page/7/"><i class="fa fa-angle-left" aria-label="上一页"></i></a><a class="page-number" href="/">1</a><span class="space">&hellip;</span><a class="page-number" href="/page/7/">7</a><span class="page-number current">8</span><a class="page-number" href="/page/9/">9</a><span class="space">&hellip;</span><a class="page-number" href="/page/31/">31</a><a class="extend next" rel="next" href="/page/9/"><i class="fa fa-angle-right" aria-label="下一页"></i></a>
            </nav>
          </div>
          <script>
            window.addEventListener('tabs:register', () =>
            {
              let
              {
                activeClass
              } = CONFIG.comments;
              if (CONFIG.comments.storage)
              {
                activeClass = localStorage.getItem('comments_active') || activeClass;
              }
              if (activeClass)
              {
                let activeTab = document.querySelector(`a[href="#comment-${activeClass}"]`);
                if (activeTab)
                {
                  activeTab.click();
                }
              }
            });
            if (CONFIG.comments.storage)
            {
              window.addEventListener('tabs:click', event =>
              {
                if (!event.target.matches('.tabs-comment .tab-content .tab-pane')) return;
                let commentClass = event.target.classList[1];
                localStorage.setItem('comments_active', commentClass);
              });
            }

          </script>
        </div>
        <div class="toggle sidebar-toggle">
          <span class="toggle-line toggle-line-first"></span>
          <span class="toggle-line toggle-line-middle"></span>
          <span class="toggle-line toggle-line-last"></span>
        </div>
        <aside class="sidebar">
          <div class="sidebar-inner">
            <ul class="sidebar-nav motion-element">
              <li class="sidebar-nav-toc"> 文章目录 </li>
              <li class="sidebar-nav-overview"> 站点概览 </li>
            </ul>
            <!--noindex-->
            <div class="post-toc-wrap sidebar-panel">
            </div>
            <!--/noindex-->
            <div class="site-overview-wrap sidebar-panel">
              <div class="site-author motion-element" itemprop="author" itemscope itemtype="http://schema.org/Person">
                <img class="site-author-image" itemprop="image" alt="崔庆才" src="/images/avatar.png">
                <p class="site-author-name" itemprop="name">崔庆才</p>
                <div class="site-description" itemprop="description">崔庆才的个人站点，记录生活的瞬间，分享学习的心得。</div>
              </div>
              <div class="site-state-wrap motion-element">
                <nav class="site-state">
                  <div class="site-state-item site-state-posts">
                    <a href="/archives/">
                      <span class="site-state-item-count">608</span>
                      <span class="site-state-item-name">日志</span>
                    </a>
                  </div>
                  <div class="site-state-item site-state-categories">
                    <a href="/categories/">
                      <span class="site-state-item-count">24</span>
                      <span class="site-state-item-name">分类</span></a>
                  </div>
                  <div class="site-state-item site-state-tags">
                    <a href="/tags/">
                      <span class="site-state-item-count">156</span>
                      <span class="site-state-item-name">标签</span></a>
                  </div>
                </nav>
              </div>
              <div class="links-of-author motion-element">
                <span class="links-of-author-item">
                  <a href="https://github.com/Germey" title="GitHub → https:&#x2F;&#x2F;github.com&#x2F;Germey" rel="noopener" target="_blank"><i class="fab fa-github fa-fw"></i>GitHub</a>
                </span>
                <span class="links-of-author-item">
                  <a href="mailto:cqc@cuiqingcai.com.com" title="邮件 → mailto:cqc@cuiqingcai.com.com" rel="noopener" target="_blank"><i class="fa fa-envelope fa-fw"></i>邮件</a>
                </span>
                <span class="links-of-author-item">
                  <a href="https://weibo.com/cuiqingcai" title="微博 → https:&#x2F;&#x2F;weibo.com&#x2F;cuiqingcai" rel="noopener" target="_blank"><i class="fab fa-weibo fa-fw"></i>微博</a>
                </span>
                <span class="links-of-author-item">
                  <a href="https://www.zhihu.com/people/Germey" title="知乎 → https:&#x2F;&#x2F;www.zhihu.com&#x2F;people&#x2F;Germey" rel="noopener" target="_blank"><i class="fa fa-magic fa-fw"></i>知乎</a>
                </span>
              </div>
            </div>
            <div style=" width: 100%;" class="sidebar-panel sidebar-panel-image sidebar-panel-active">
              <a href="https://tutorial.lengyue.video/?coupon=12ef4b1a-a3db-11ea-bb37-0242ac130002_cqx_850" target="_blank" rel="noopener">
                <img src="https://qiniu.cuiqingcai.com/bco2a.png" style=" width: 100%;">
              </a>
            </div>
            <div style=" width: 100%;" class="sidebar-panel sidebar-panel-image sidebar-panel-active">
              <a href="http://www.ipidea.net/?utm-source=cqc&utm-keyword=?cqc" target="_blank" rel="noopener">
                <img src="https://qiniu.cuiqingcai.com/0ywun.png" style=" width: 100%;">
              </a>
            </div>
            <div class="sidebar-panel sidebar-panel-tags sidebar-panel-active">
              <h4 class="name"> 标签云 </h4>
              <div class="content">
                <a href="/tags/2048/" style="font-size: 10px;">2048</a> <a href="/tags/API/" style="font-size: 10px;">API</a> <a href="/tags/Bootstrap/" style="font-size: 11.25px;">Bootstrap</a> <a href="/tags/CDN/" style="font-size: 10px;">CDN</a> <a href="/tags/CQC/" style="font-size: 10px;">CQC</a> <a href="/tags/CSS/" style="font-size: 10px;">CSS</a> <a href="/tags/CSS-%E5%8F%8D%E7%88%AC%E8%99%AB/" style="font-size: 10px;">CSS 反爬虫</a> <a href="/tags/CV/" style="font-size: 10px;">CV</a> <a href="/tags/Django/" style="font-size: 10px;">Django</a> <a href="/tags/Eclipse/" style="font-size: 11.25px;">Eclipse</a> <a href="/tags/FTP/" style="font-size: 10px;">FTP</a> <a href="/tags/Git/" style="font-size: 10px;">Git</a> <a href="/tags/GitHub/" style="font-size: 13.75px;">GitHub</a> <a href="/tags/HTML5/" style="font-size: 10px;">HTML5</a> <a href="/tags/Hexo/" style="font-size: 10px;">Hexo</a> <a href="/tags/IT/" style="font-size: 10px;">IT</a> <a href="/tags/JSP/" style="font-size: 10px;">JSP</a> <a href="/tags/JavaScript/" style="font-size: 10px;">JavaScript</a> <a href="/tags/K8s/" style="font-size: 10px;">K8s</a> <a href="/tags/LOGO/" style="font-size: 10px;">LOGO</a> <a href="/tags/Linux/" style="font-size: 10px;">Linux</a> <a href="/tags/MIUI/" style="font-size: 10px;">MIUI</a> <a href="/tags/MongoDB/" style="font-size: 10px;">MongoDB</a> <a href="/tags/Mysql/" style="font-size: 10px;">Mysql</a> <a href="/tags/NBA/" style="font-size: 10px;">NBA</a> <a href="/tags/PHP/" style="font-size: 11.25px;">PHP</a> <a href="/tags/PS/" style="font-size: 10px;">PS</a> <a href="/tags/Pathlib/" style="font-size: 10px;">Pathlib</a> <a href="/tags/PhantomJS/" style="font-size: 10px;">PhantomJS</a> <a href="/tags/Python/" style="font-size: 15px;">Python</a> <a href="/tags/Python3/" style="font-size: 12.5px;">Python3</a> <a href="/tags/Pythonic/" style="font-size: 10px;">Pythonic</a> <a href="/tags/QQ/" style="font-size: 10px;">QQ</a> <a href="/tags/Redis/" style="font-size: 10px;">Redis</a> <a href="/tags/SAE/" style="font-size: 10px;">SAE</a> <a href="/tags/SSH/" style="font-size: 10px;">SSH</a> <a href="/tags/SVG/" style="font-size: 10px;">SVG</a> <a href="/tags/Scrapy/" style="font-size: 10px;">Scrapy</a> <a href="/tags/Scrapy-redis/" style="font-size: 10px;">Scrapy-redis</a> <a href="/tags/Scrapy%E5%88%86%E5%B8%83%E5%BC%8F/" style="font-size: 10px;">Scrapy分布式</a> <a href="/tags/Selenium/" style="font-size: 10px;">Selenium</a> <a href="/tags/TKE/" style="font-size: 10px;">TKE</a> <a href="/tags/Ubuntu/" style="font-size: 11.25px;">Ubuntu</a> <a href="/tags/VS-Code/" style="font-size: 10px;">VS Code</a> <a href="/tags/Vs-Code/" style="font-size: 10px;">Vs Code</a> <a href="/tags/Vue/" style="font-size: 11.25px;">Vue</a> <a href="/tags/Webpack/" style="font-size: 10px;">Webpack</a> <a href="/tags/Windows/" style="font-size: 10px;">Windows</a> <a href="/tags/Winpcap/" style="font-size: 10px;">Winpcap</a> <a href="/tags/WordPress/" style="font-size: 13.75px;">WordPress</a> <a href="/tags/Youtube/" style="font-size: 11.25px;">Youtube</a> <a href="/tags/android/" style="font-size: 10px;">android</a> <a href="/tags/ansible/" style="font-size: 10px;">ansible</a> <a href="/tags/cocos2d-x/" style="font-size: 10px;">cocos2d-x</a> <a href="/tags/e6/" style="font-size: 10px;">e6</a> <a href="/tags/fitvids/" style="font-size: 10px;">fitvids</a> <a href="/tags/git/" style="font-size: 11.25px;">git</a> <a href="/tags/json/" style="font-size: 10px;">json</a> <a href="/tags/js%E9%80%86%E5%90%91/" style="font-size: 10px;">js逆向</a> <a href="/tags/kubernetes/" style="font-size: 10px;">kubernetes</a> <a href="/tags/log/" style="font-size: 10px;">log</a> <a href="/tags/logging/" style="font-size: 10px;">logging</a> <a href="/tags/matlab/" style="font-size: 11.25px;">matlab</a> <a href="/tags/python/" style="font-size: 20px;">python</a> <a href="/tags/pytube/" style="font-size: 11.25px;">pytube</a> <a href="/tags/pywin32/" style="font-size: 10px;">pywin32</a> <a href="/tags/style/" style="font-size: 10px;">style</a> <a href="/tags/tomcat/" style="font-size: 10px;">tomcat</a> <a href="/tags/ubuntu/" style="font-size: 10px;">ubuntu</a> <a href="/tags/uwsgi/" style="font-size: 10px;">uwsgi</a> <a href="/tags/vsftpd/" style="font-size: 10px;">vsftpd</a> <a href="/tags/wamp/" style="font-size: 10px;">wamp</a> <a href="/tags/wineQQ/" style="font-size: 10px;">wineQQ</a> <a href="/tags/%E4%B8%83%E7%89%9B/" style="font-size: 11.25px;">七牛</a> <a href="/tags/%E4%B8%8A%E6%B5%B7/" style="font-size: 10px;">上海</a> <a href="/tags/%E4%B8%AA%E4%BA%BA%E7%BD%91%E7%AB%99/" style="font-size: 10px;">个人网站</a> <a href="/tags/%E4%B8%BB%E9%A2%98/" style="font-size: 10px;">主题</a> <a href="/tags/%E4%BA%91%E4%BA%A7%E5%93%81/" style="font-size: 10px;">云产品</a> <a href="/tags/%E4%BA%91%E5%AD%98%E5%82%A8/" style="font-size: 10px;">云存储</a> <a href="/tags/%E4%BA%AC%E4%B8%9C%E4%BA%91/" style="font-size: 10px;">京东云</a> <a href="/tags/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD/" style="font-size: 12.5px;">人工智能</a> <a href="/tags/%E4%BB%A3%E7%90%86/" style="font-size: 10px;">代理</a> <a href="/tags/%E4%BB%A3%E7%A0%81/" style="font-size: 10px;">代码</a> <a href="/tags/%E4%BB%A3%E7%A0%81%E5%88%86%E4%BA%AB%E5%9B%BE/" style="font-size: 10px;">代码分享图</a> <a href="/tags/%E4%BC%98%E5%8C%96/" style="font-size: 10px;">优化</a> <a href="/tags/%E4%BD%8D%E8%BF%90%E7%AE%97/" style="font-size: 10px;">位运算</a> <a href="/tags/%E5%85%AC%E4%BC%97%E5%8F%B7/" style="font-size: 10px;">公众号</a> <a href="/tags/%E5%88%86%E4%BA%AB/" style="font-size: 10px;">分享</a> <a href="/tags/%E5%88%86%E5%B8%83%E5%BC%8F/" style="font-size: 10px;">分布式</a> <a href="/tags/%E5%88%9B%E4%B8%9A/" style="font-size: 10px;">创业</a> <a href="/tags/%E5%89%8D%E7%AB%AF/" style="font-size: 12.5px;">前端</a> <a href="/tags/%E5%8D%9A%E5%AE%A2/" style="font-size: 10px;">博客</a> <a href="/tags/%E5%8E%9F%E7%94%9FAPP/" style="font-size: 10px;">原生APP</a> <a href="/tags/%E5%8F%8D%E7%88%AC%E8%99%AB/" style="font-size: 12.5px;">反爬虫</a> <a href="/tags/%E5%91%BD%E4%BB%A4/" style="font-size: 10px;">命令</a> <a href="/tags/%E5%93%8D%E5%BA%94%E5%BC%8F%E5%B8%83%E5%B1%80/" style="font-size: 10px;">响应式布局</a> <a href="/tags/%E5%9E%83%E5%9C%BE%E9%82%AE%E4%BB%B6/" style="font-size: 10px;">垃圾邮件</a> <a href="/tags/%E5%9F%9F%E5%90%8D%E7%BB%91%E5%AE%9A/" style="font-size: 10px;">域名绑定</a> <a href="/tags/%E5%A4%8D%E7%9B%98/" style="font-size: 10px;">复盘</a> <a href="/tags/%E5%A4%A7%E4%BC%97%E7%82%B9%E8%AF%84/" style="font-size: 10px;">大众点评</a> <a href="/tags/%E5%AD%97%E4%BD%93%E5%8F%8D%E7%88%AC%E8%99%AB/" style="font-size: 10px;">字体反爬虫</a> <a href="/tags/%E5%AD%97%E7%AC%A6%E9%97%AE%E9%A2%98/" style="font-size: 10px;">字符问题</a> <a href="/tags/%E5%AD%A6%E4%B9%A0%E6%96%B9%E6%B3%95/" style="font-size: 10px;">学习方法</a> <a href="/tags/%E5%AE%89%E5%8D%93/" style="font-size: 10px;">安卓</a> <a href="/tags/%E5%AE%9E%E7%94%A8/" style="font-size: 10px;">实用</a> <a href="/tags/%E5%B0%81%E9%9D%A2/" style="font-size: 10px;">封面</a> <a href="/tags/%E5%B4%94%E5%BA%86%E6%89%8D/" style="font-size: 18.75px;">崔庆才</a> <a href="/tags/%E5%B7%A5%E5%85%B7/" style="font-size: 12.5px;">工具</a> <a href="/tags/%E5%BC%80%E5%8F%91%E5%B7%A5%E5%85%B7/" style="font-size: 10px;">开发工具</a> <a href="/tags/%E5%BE%AE%E8%BD%AF/" style="font-size: 10px;">微软</a> <a href="/tags/%E6%80%9D%E8%80%83/" style="font-size: 10px;">思考</a> <a href="/tags/%E6%89%8B%E6%9C%BA%E8%AE%BF%E9%97%AE/" style="font-size: 10px;">手机访问</a> <a href="/tags/%E6%95%99%E7%A8%8B/" style="font-size: 10px;">教程</a> <a href="/tags/%E6%95%99%E8%82%B2/" style="font-size: 10px;">教育</a> <a href="/tags/%E6%96%B0%E4%B9%A6/" style="font-size: 12.5px;">新书</a> <a href="/tags/%E6%96%B9%E6%B3%95%E8%AE%BA/" style="font-size: 10px;">方法论</a> <a href="/tags/%E6%97%85%E6%B8%B8/" style="font-size: 10px;">旅游</a> <a href="/tags/%E6%97%A5%E5%BF%97/" style="font-size: 10px;">日志</a> <a href="/tags/%E6%9A%97%E6%97%B6%E9%97%B4/" style="font-size: 10px;">暗时间</a> <a href="/tags/%E6%9D%9C%E5%85%B0%E7%89%B9/" style="font-size: 11.25px;">杜兰特</a> <a href="/tags/%E6%A1%8C%E9%9D%A2/" style="font-size: 10px;">桌面</a> <a href="/tags/%E6%AD%8C%E5%8D%95/" style="font-size: 10px;">歌单</a> <a href="/tags/%E6%B1%9F%E5%8D%97/" style="font-size: 10px;">江南</a> <a href="/tags/%E6%B8%B8%E6%88%8F/" style="font-size: 10px;">游戏</a> <a href="/tags/%E7%84%A6%E8%99%91/" style="font-size: 10px;">焦虑</a> <a href="/tags/%E7%88%AC%E8%99%AB/" style="font-size: 16.25px;">爬虫</a> <a href="/tags/%E7%88%AC%E8%99%AB%E4%B9%A6%E7%B1%8D/" style="font-size: 11.25px;">爬虫书籍</a> <a href="/tags/%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F/" style="font-size: 10px;">环境变量</a> <a href="/tags/%E7%94%9F%E6%B4%BB%E7%AC%94%E8%AE%B0/" style="font-size: 10px;">生活笔记</a> <a href="/tags/%E7%99%BB%E5%BD%95/" style="font-size: 10px;">登录</a> <a href="/tags/%E7%9F%A5%E4%B9%8E/" style="font-size: 10px;">知乎</a> <a href="/tags/%E7%9F%AD%E4%BF%A1/" style="font-size: 10px;">短信</a> <a href="/tags/%E7%9F%AD%E4%BF%A1%E9%AA%8C%E8%AF%81%E7%A0%81/" style="font-size: 10px;">短信验证码</a> <a href="/tags/%E7%AC%94%E8%AE%B0%E8%BD%AF%E4%BB%B6/" style="font-size: 10px;">笔记软件</a> <a href="/tags/%E7%AF%AE%E7%BD%91/" style="font-size: 10px;">篮网</a> <a href="/tags/%E7%BA%B8%E5%BC%A0/" style="font-size: 10px;">纸张</a> <a href="/tags/%E7%BB%84%E4%BB%B6/" style="font-size: 10px;">组件</a> <a href="/tags/%E7%BD%91%E7%AB%99/" style="font-size: 10px;">网站</a> <a href="/tags/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB/" style="font-size: 11.25px;">网络爬虫</a> <a href="/tags/%E7%BE%8E%E5%AD%A6/" style="font-size: 10px;">美学</a> <a href="/tags/%E8%82%89%E5%A4%B9%E9%A6%8D/" style="font-size: 10px;">肉夹馍</a> <a href="/tags/%E8%85%BE%E8%AE%AF%E4%BA%91/" style="font-size: 10px;">腾讯云</a> <a href="/tags/%E8%87%AA%E5%BE%8B/" style="font-size: 10px;">自律</a> <a href="/tags/%E8%A5%BF%E5%B0%91%E7%88%B7/" style="font-size: 10px;">西少爷</a> <a href="/tags/%E8%A7%86%E9%A2%91/" style="font-size: 10px;">视频</a> <a href="/tags/%E8%B0%B7%E6%AD%8C%E9%AA%8C%E8%AF%81%E7%A0%81/" style="font-size: 10px;">谷歌验证码</a> <a href="/tags/%E8%BF%90%E8%90%A5/" style="font-size: 10px;">运营</a> <a href="/tags/%E8%BF%9C%E7%A8%8B/" style="font-size: 10px;">远程</a> <a href="/tags/%E9%80%86%E5%90%91/" style="font-size: 10px;">逆向</a> <a href="/tags/%E9%85%8D%E7%BD%AE/" style="font-size: 10px;">配置</a> <a href="/tags/%E9%87%8D%E8%A3%85/" style="font-size: 10px;">重装</a> <a href="/tags/%E9%98%BF%E6%9D%9C/" style="font-size: 10px;">阿杜</a> <a href="/tags/%E9%9D%99%E8%A7%85/" style="font-size: 17.5px;">静觅</a> <a href="/tags/%E9%A2%A0%E8%A6%86/" style="font-size: 10px;">颠覆</a> <a href="/tags/%E9%A3%9E%E4%BF%A1/" style="font-size: 10px;">飞信</a> <a href="/tags/%E9%B8%BF%E8%92%99/" style="font-size: 10px;">鸿蒙</a>
              </div>
              <script>
                const tagsColors = ['#00a67c', '#5cb85c', '#d9534f', '#567e95', '#b37333', '#f4843d', '#15a287']
                const tagsElements = document.querySelectorAll('.sidebar-panel-tags .content a')
                tagsElements.forEach((item) =>
                {
                  item.style.backgroundColor = tagsColors[Math.floor(Math.random() * tagsColors.length)]
                })

              </script>
            </div>
            <div class="sidebar-panel sidebar-panel-categories sidebar-panel-active">
              <h4 class="name"> 分类 </h4>
              <div class="content">
                <ul class="category-list">
                  <li class="category-list-item"><a class="category-list-link" href="/categories/C-C/">C/C++</a><span class="category-list-count">23</span></li>
                  <li class="category-list-item"><a class="category-list-link" href="/categories/HTML/">HTML</a><span class="category-list-count">14</span></li>
                  <li class="category-list-item"><a class="category-list-link" href="/categories/Java/">Java</a><span class="category-list-count">5</span></li>
                  <li class="category-list-item"><a class="category-list-link" href="/categories/JavaScript/">JavaScript</a><span class="category-list-count">26</span></li>
                  <li class="category-list-item"><a class="category-list-link" href="/categories/Linux/">Linux</a><span class="category-list-count">15</span></li>
                  <li class="category-list-item"><a class="category-list-link" href="/categories/Markdown/">Markdown</a><span class="category-list-count">1</span></li>
                  <li class="category-list-item"><a class="category-list-link" href="/categories/Net/">Net</a><span class="category-list-count">4</span></li>
                  <li class="category-list-item"><a class="category-list-link" href="/categories/Other/">Other</a><span class="category-list-count">39</span></li>
                  <li class="category-list-item"><a class="category-list-link" href="/categories/PHP/">PHP</a><span class="category-list-count">27</span></li>
                  <li class="category-list-item"><a class="category-list-link" href="/categories/Paper/">Paper</a><span class="category-list-count">2</span></li>
                  <li class="category-list-item"><a class="category-list-link" href="/categories/Python/">Python</a><span class="category-list-count">261</span></li>
                  <li class="category-list-item"><a class="category-list-link" href="/categories/TypeScript/">TypeScript</a><span class="category-list-count">2</span></li>
                  <li class="category-list-item"><a class="category-list-link" href="/categories/%E4%B8%AA%E4%BA%BA%E5%B1%95%E7%A4%BA/">个人展示</a><span class="category-list-count">1</span></li>
                  <li class="category-list-item"><a class="category-list-link" href="/categories/%E4%B8%AA%E4%BA%BA%E6%97%A5%E8%AE%B0/">个人日记</a><span class="category-list-count">9</span></li>
                  <li class="category-list-item"><a class="category-list-link" href="/categories/%E4%B8%AA%E4%BA%BA%E8%AE%B0%E5%BD%95/">个人记录</a><span class="category-list-count">4</span></li>
                  <li class="category-list-item"><a class="category-list-link" href="/categories/%E4%B8%AA%E4%BA%BA%E9%9A%8F%E7%AC%94/">个人随笔</a><span class="category-list-count">15</span></li>
                  <li class="category-list-item"><a class="category-list-link" href="/categories/%E5%AE%89%E8%A3%85%E9%85%8D%E7%BD%AE/">安装配置</a><span class="category-list-count">59</span></li>
                  <li class="category-list-item"><a class="category-list-link" href="/categories/%E6%8A%80%E6%9C%AF%E6%9D%82%E8%B0%88/">技术杂谈</a><span class="category-list-count">88</span></li>
                  <li class="category-list-item"><a class="category-list-link" href="/categories/%E6%9C%AA%E5%88%86%E7%B1%BB/">未分类</a><span class="category-list-count">1</span></li>
                  <li class="category-list-item"><a class="category-list-link" href="/categories/%E7%94%9F%E6%B4%BB%E7%AC%94%E8%AE%B0/">生活笔记</a><span class="category-list-count">1</span></li>
                  <li class="category-list-item"><a class="category-list-link" href="/categories/%E7%A6%8F%E5%88%A9%E4%B8%93%E5%8C%BA/">福利专区</a><span class="category-list-count">6</span></li>
                  <li class="category-list-item"><a class="category-list-link" href="/categories/%E8%81%8C%E4%BD%8D%E6%8E%A8%E8%8D%90/">职位推荐</a><span class="category-list-count">2</span></li>
                </ul>
              </div>
            </div>
            <div class="sidebar-panel sidebar-panel-friends sidebar-panel-active">
              <h4 class="name"> 友情链接 </h4>
              <ul class="friends">
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/j2dub.jpg">
                  </span>
                  <span class="link">
                    <a href="https://www.findhao.net/" target="_blank" rel="noopener">FindHao</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/ou6mm.jpg">
                  </span>
                  <span class="link">
                    <a href="https://diygod.me/" target="_blank" rel="noopener">DIYgod</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/6apxu.jpg">
                  </span>
                  <span class="link">
                    <a href="https://www.51dev.com/" target="_blank" rel="noopener">IT技术社区</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://www.jankl.com/img/titleshu.jpg">
                  </span>
                  <span class="link">
                    <a href="https://www.jankl.com/" target="_blank" rel="noopener">liberalist</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/bqlbs.png">
                  </span>
                  <span class="link">
                    <a href="http://www.urselect.com/" target="_blank" rel="noopener">优社电商</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/8s88c.jpg">
                  </span>
                  <span class="link">
                    <a href="https://www.yuanrenxue.com/" target="_blank" rel="noopener">猿人学</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/2wgg5.jpg">
                  </span>
                  <span class="link">
                    <a href="https://www.yunlifang.cn/" target="_blank" rel="noopener">云立方</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/shwr6.png">
                  </span>
                  <span class="link">
                    <a href="http://lanbing510.info/" target="_blank" rel="noopener">冰蓝</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/blvoh.jpg">
                  </span>
                  <span class="link">
                    <a href="https://lengyue.me/" target="_blank" rel="noopener">冷月</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="http://qianxunclub.com/favicon.png">
                  </span>
                  <span class="link">
                    <a href="http://qianxunclub.com/" target="_blank" rel="noopener">千寻啊千寻</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/0044u.jpg">
                  </span>
                  <span class="link">
                    <a href="http://kodcloud.com/" target="_blank" rel="noopener">可道云</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/ygnpn.jpg">
                  </span>
                  <span class="link">
                    <a href="http://www.kunkundashen.cn/" target="_blank" rel="noopener">坤坤大神</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/22uv1.png">
                  </span>
                  <span class="link">
                    <a href="http://www.cenchong.com/" target="_blank" rel="noopener">岑冲博客</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/ev9kl.png">
                  </span>
                  <span class="link">
                    <a href="http://www.zxiaoji.com/" target="_blank" rel="noopener">张小鸡</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://www.503error.com/favicon.ico">
                  </span>
                  <span class="link">
                    <a href="https://www.503error.com/" target="_blank" rel="noopener">张志明个人博客</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/x714o.jpg">
                  </span>
                  <span class="link">
                    <a href="http://www.hubwiz.com/" target="_blank" rel="noopener">汇智网</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/129d8.png">
                  </span>
                  <span class="link">
                    <a href="https://www.bysocket.com/" target="_blank" rel="noopener">泥瓦匠BYSocket</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://www.xiongge.club/favicon.ico">
                  </span>
                  <span class="link">
                    <a href="https://www.xiongge.club/" target="_blank" rel="noopener">熊哥club</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/3w4fe.png">
                  </span>
                  <span class="link">
                    <a href="https://zerlong.com/" target="_blank" rel="noopener">知语</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/44hxf.png">
                  </span>
                  <span class="link">
                    <a href="http://redstonewill.com/" target="_blank" rel="noopener">红色石头</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/8g1fk.jpg">
                  </span>
                  <span class="link">
                    <a href="http://www.laodong.me/" target="_blank" rel="noopener">老董博客</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/wkaus.jpg">
                  </span>
                  <span class="link">
                    <a href="https://zhaoshuai.me/" target="_blank" rel="noopener">碎念</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/pgo0r.jpg">
                  </span>
                  <span class="link">
                    <a href="https://www.chenwenguan.com/" target="_blank" rel="noopener">陈文管的博客</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/kk82a.jpg">
                  </span>
                  <span class="link">
                    <a href="https://www.lxlinux.net/" target="_blank" rel="noopener">良许Linux教程网</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/lj0t2.jpg">
                  </span>
                  <span class="link">
                    <a href="https://tanqingbo.cn/" target="_blank" rel="noopener">IT码农</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/i8cdr.png">
                  </span>
                  <span class="link">
                    <a href="https://junyiseo.com/" target="_blank" rel="noopener">均益个人博客</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/chwv2.png">
                  </span>
                  <span class="link">
                    <a href="https://brucedone.com/" target="_blank" rel="noopener">大鱼的鱼塘</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/2y43o.png">
                  </span>
                  <span class="link">
                    <a href="http://bbs.nightteam.cn/" target="_blank" rel="noopener">夜幕爬虫安全论坛</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/zvc3w.jpg">
                  </span>
                  <span class="link">
                    <a href="https://www.weishidong.com/" target="_blank" rel="noopener">韦世东的技术专栏</a>
                  </span>
                </li>
                <li class="friend">
                  <span class="logo">
                    <img src="https://qiniu.cuiqingcai.com/ebudy.jpg">
                  </span>
                  <span class="link">
                    <a href="https://chuanjiabing.com/" target="_blank" rel="noopener">穿甲兵技术社区</a>
                  </span>
                </li>
              </ul>
            </div>
          </div>
        </aside>
        <div id="sidebar-dimmer"></div>
      </div>
    </main>
    <footer class="footer">
      <div class="footer-inner">
        <div class="copyright"> &copy; <span itemprop="copyrightYear">2021</span>
          <span class="with-love">
            <i class="fa fa-heart"></i>
          </span>
          <span class="author" itemprop="copyrightHolder">崔庆才丨静觅</span>
          <span class="post-meta-divider">|</span>
          <span class="post-meta-item-icon">
            <i class="fa fa-chart-area"></i>
          </span>
          <span title="站点总字数">2.6m</span>
          <span class="post-meta-divider">|</span>
          <span class="post-meta-item-icon">
            <i class="fa fa-coffee"></i>
          </span>
          <span title="站点阅读时长">39:54</span>
        </div>
        <div class="powered-by">由 <a href="https://hexo.io/" class="theme-link" rel="noopener" target="_blank">Hexo</a> & <a href="https://pisces.theme-next.org/" class="theme-link" rel="noopener" target="_blank">NexT.Pisces</a> 强力驱动 </div>
        <div class="beian"><a href="https://beian.miit.gov.cn/" rel="noopener" target="_blank">京ICP备18015597号-1 </a>
        </div>
        <script>
          (function ()
          {
            function leancloudSelector(url)
            {
              url = encodeURI(url);
              return document.getElementById(url).querySelector('.leancloud-visitors-count');
            }

            function addCount(Counter)
            {
              var visitors = document.querySelector('.leancloud_visitors');
              var url = decodeURI(visitors.id);
              var title = visitors.dataset.flagTitle;
              Counter('get', '/classes/Counter?where=' + encodeURIComponent(JSON.stringify(
              {
                url
              }))).then(response => response.json()).then((
              {
                results
              }) =>
              {
                if (results.length > 0)
                {
                  var counter = results[0];
                  leancloudSelector(url).innerText = counter.time + 1;
                  Counter('put', '/classes/Counter/' + counter.objectId,
                  {
                    time:
                    {
                      '__op': 'Increment',
                      'amount': 1
                    }
                  }).catch(error =>
                  {
                    console.error('Failed to save visitor count', error);
                  });
                }
                else
                {
                  Counter('post', '/classes/Counter',
                  {
                    title,
                    url,
                    time: 1
                  }).then(response => response.json()).then(() =>
                  {
                    leancloudSelector(url).innerText = 1;
                  }).catch(error =>
                  {
                    console.error('Failed to create', error);
                  });
                }
              }).catch(error =>
              {
                console.error('LeanCloud Counter Error', error);
              });
            }

            function showTime(Counter)
            {
              var visitors = document.querySelectorAll('.leancloud_visitors');
              var entries = [...visitors].map(element =>
              {
                return decodeURI(element.id);
              });
              Counter('get', '/classes/Counter?where=' + encodeURIComponent(JSON.stringify(
              {
                url:
                {
                  '$in': entries
                }
              }))).then(response => response.json()).then((
              {
                results
              }) =>
              {
                for (let url of entries)
                {
                  let target = results.find(item => item.url === url);
                  leancloudSelector(url).innerText = target ? target.time : 0;
                }
              }).catch(error =>
              {
                console.error('LeanCloud Counter Error', error);
              });
            }
            let
            {
              app_id,
              app_key,
              server_url
            } = {
              "enable": true,
              "app_id": "6X5dRQ0pnPWJgYy8SXOg0uID-gzGzoHsz",
              "app_key": "ziLDVEy73ne5HtFTiGstzHMS",
              "server_url": "https://6x5drq0p.lc-cn-n1-shared.com",
              "security": false
            };

            function fetchData(api_server)
            {
              var Counter = (method, url, data) =>
              {
                return fetch(`${api_server}/1.1${url}`,
                {
                  method,
                  headers:
                  {
                    'X-LC-Id': app_id,
                    'X-LC-Key': app_key,
                    'Content-Type': 'application/json',
                  },
                  body: JSON.stringify(data)
                });
              };
              if (CONFIG.page.isPost)
              {
                if (CONFIG.hostname !== location.hostname) return;
                addCount(Counter);
              }
              else if (document.querySelectorAll('.post-title-link').length >= 1)
              {
                showTime(Counter);
              }
            }
            let api_server = app_id.slice(-9) !== '-MdYXbMMI' ? server_url : `https://${app_id.slice(0, 8).toLowerCase()}.api.lncldglobal.com`;
            if (api_server)
            {
              fetchData(api_server);
            }
            else
            {
              fetch('https://app-router.leancloud.cn/2/route?appId=' + app_id).then(response => response.json()).then((
              {
                api_server
              }) =>
              {
                fetchData('https://' + api_server);
              });
            }
          })();

        </script>
      </div>
      <div class="footer-stat">
        <span id="cnzz_stat_icon_1279355174"></span>
        <script type="text/javascript">
          document.write(unescape("%3Cspan id='cnzz_stat_icon_1279355174'%3E%3C/span%3E%3Cscript src='https://v1.cnzz.com/z_stat.php%3Fid%3D1279355174%26online%3D1%26show%3Dline' type='text/javascript'%3E%3C/script%3E"));

        </script>
      </div>
    </footer>
  </div>
  <script src="//cdn.jsdelivr.net/npm/animejs@3.2.1/lib/anime.min.js"></script>
  <script src="//cdn.jsdelivr.net/npm/pangu@4/dist/browser/pangu.min.js"></script>
  <script src="/js/utils.js"></script>
  <script src="/.js"></script>
  <script src="/js/schemes/pisces.js"></script>
  <script src="/.js"></script>
  <script src="/js/next-boot.js"></script>
  <script src="/.js"></script>
  <script>
    (function ()
    {
      var canonicalURL, curProtocol;
      //Get the <link> tag
      var x = document.getElementsByTagName("link");
      //Find the last canonical URL
      if (x.length > 0)
      {
        for (i = 0; i < x.length; i++)
        {
          if (x[i].rel.toLowerCase() == 'canonical' && x[i].href)
          {
            canonicalURL = x[i].href;
          }
        }
      }
      //Get protocol
      if (!canonicalURL)
      {
        curProtocol = window.location.protocol.split(':')[0];
      }
      else
      {
        curProtocol = canonicalURL.split(':')[0];
      }
      //Get current URL if the canonical URL does not exist
      if (!canonicalURL) canonicalURL = window.location.href;
      //Assign script content. Replace current URL with the canonical URL
      ! function ()
      {
        var e = /([http|https]:\/\/[a-zA-Z0-9\_\.]+\.baidu\.com)/gi,
          r = canonicalURL,
          t = document.referrer;
        if (!e.test(r))
        {
          var n = (String(curProtocol).toLowerCase() === 'https') ? "https://sp0.baidu.com/9_Q4simg2RQJ8t7jm9iCKT-xh_/s.gif" : "//api.share.baidu.com/s.gif";
          t ? (n += "?r=" + encodeURIComponent(document.referrer), r && (n += "&l=" + r)) : r && (n += "?l=" + r);
          var i = new Image;
          i.src = n
        }
      }(window);
    })();

  </script>
  <script src="/js/local-search.js"></script>
  <script src="/.js"></script>
</body>

</html>
